「java快速读取」JAVA读取

本篇文章给大家谈谈java快速读取，以及JAVA读取对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、java有没有什么快速方法读取文件么
• 2、Java中如何高效的读取大文件
• 3、java 大量数据如何快速读取
• 4、跪求！！java 快速读取文件的方式
• 5、java文件如何读取
• 6、java如何快速处理大数据

java有没有什么快速方法读取文件么

从描述中感觉为第一次读取到内存时消耗时间过长导致(使用note打开4M文件也比较慢)，跟检索内容无关，现在想的是可以增加线程使读取文件速度增加。

可以给出代码，一起研究研究，另如果有好的方法也请贴出，分享一下。

Java中如何高效的读取大文件

读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：

Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path));

这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。

java 大量数据如何快速读取

1.将与查询条件相关的字段设置索引

2.建立视图

3.对于频繁查询操作建议使用存储过程

4.优化Sql语句

跪求！！java 快速读取文件的方式

用 bufferedReader 试试吧，或者自己定义个byte数组去读文件流 ，其实主要耗时并不是读取上，而是系统IO或者说是硬盘的io时间消耗上

而且像这种 结构很规则的，四行一个小块，完全可以 一次读取四行来 操作，效率会高些

java文件如何读取

java读取文件方法大全

一、多种方式读文件内容。

1、按字节读取文件内容

2、按字符读取文件内容

3、按行读取文件内容

4、随机读取文件内容

Java代码

1. import java.io.BufferedReader;

2. import java.io.File;

3. import java.io.FileInputStream;

4. import java.io.FileReader;

5. import java.io.IOException;

6. import java.io.InputStream;

7. import java.io.InputStreamReader;

8. import java.io.RandomAccessFile;

9. import java.io.Reader;

10.

11. public class ReadFromFile {

12. /**

13. * 以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。

14. *

15. * @param fileName

16. * 文件的名

17. */

18. public static void readFileByBytes(String fileName) {

19. File file = new File(fileName);

20. InputStream in = null;

21. try {

22. System.out.println("以字节为单位读取文件内容，一次读一个字节：");

23. // 一次读一个字节

24. in = new FileInputStream(file);

25. int tempbyte;

26. while ((tempbyte = in.read()) != -1) {

27. System.out.write(tempbyte);

28. }

29. in.close();

30. } catch (IOException e) {

31. e.printStackTrace();

32. return;

33. }

34. try {

35. System.out.println("以字节为单位读取文件内容，一次读多个字节：");

36. // 一次读多个字节

37. byte[] tempbytes = new byte[100];

38. int byteread = 0;

39. in = new FileInputStream(fileName);

40. ReadFromFile.showAvailableBytes(in);

41. // 读入多个字节到字节数组中，byteread为一次读入的字节数

42. while ((byteread = in.read(tempbytes)) != -1) {

43. System.out.write(tempbytes, 0, byteread);

44. }

45. } catch (Exception e1) {

46. e1.printStackTrace();

47. } finally {

48. if (in != null) {

49. try {

50. in.close();

51. } catch (IOException e1) {

52. }

53. }

54. }

55. }

56.

57. /**

58. * 以字符为单位读取文件，常用于读文本，数字等类型的文件

59. *

60. * @param fileName

61. * 文件名

62. */

63. public static void readFileByChars(String fileName) {

64. File file = new File(fileName);

65. Reader reader = null;

66. try {

67. System.out.println("以字符为单位读取文件内容，一次读一个字节：");

68. // 一次读一个字符

69. reader = new InputStreamReader(new FileInputStream(file));

70. int tempchar;

71. while ((tempchar = reader.read()) != -1) {

72. // 对于windows下，\r\n这两个字符在一起时，表示一个换行。

73. // 但如果这两个字符分开显示时，会换两次行。

74. // 因此，屏蔽掉\r，或者屏蔽\n。否则，将会多出很多空行。

75. if (((char) tempchar) != '\r') {

76. System.out.print((char) tempchar);

77. }

78. }

79. reader.close();

80. } catch (Exception e) {

81. e.printStackTrace();

82. }

83. try {

84. System.out.println("以字符为单位读取文件内容，一次读多个字节：");

85. // 一次读多个字符

86. char[] tempchars = new char[30];

87. int charread = 0;

88. reader = new InputStreamReader(new FileInputStream(fileName));

89. // 读入多个字符到字符数组中，charread为一次读取字符数

90. while ((charread = reader.read(tempchars)) != -1) {

91. // 同样屏蔽掉\r不显示

92. if ((charread == tempchars.length)

93. (tempchars[tempchars.length - 1] != '\r')) {

94. System.out.print(tempchars);

95. } else {

96. for (int i = 0; i charread; i++) {

97. if (tempchars[i] == '\r') {

98. continue;

99. } else {

100. System.out.print(tempchars[i]);

101. }

102. }

103. }

104. }

105.

106. } catch (Exception e1) {

107. e1.printStackTrace();

108. } finally {

109. if (reader != null) {

110. try {

111. reader.close();

112. } catch (IOException e1) {

113. }

114. }

115. }

116. }

117.

118. /**

119. * 以行为单位读取文件，常用于读面向行的格式化文件

120. *

121. * @param fileName

122. * 文件名

123. */

124. public static void readFileByLines(String fileName) {

125. File file = new File(fileName);

126. BufferedReader reader = null;

127. try {

128. System.out.println("以行为单位读取文件内容，一次读一整行：");

129. reader = new BufferedReader(new FileReader(file));

130. String tempString = null;

131. int line = 1;

132. // 一次读入一行，直到读入null为文件结束

133. while ((tempString = reader.readLine()) != null) {

134. // 显示行号

135. System.out.println("line " + line + ": " + tempString);

136. line++;

137. }

138. reader.close();

139. } catch (IOException e) {

140. e.printStackTrace();

141. } finally {

142. if (reader != null) {

143. try {

144. reader.close();

145. } catch (IOException e1) {

146. }

147. }

148. }

149. }

150.

151. /**

152. * 随机读取文件内容

153. *

154. * @param fileName

155. * 文件名

156. */

157. public static void readFileByRandomAccess(String fileName) {

158. RandomAccessFile randomFile = null;

159. try {

160. System.out.println("随机读取一段文件内容：");

161. // 打开一个随机访问文件流，按只读方式

162. randomFile = new RandomAccessFile(fileName, "r");

163. // 文件长度，字节数

164. long fileLength = randomFile.length();

165. // 读文件的起始位置

166. int beginIndex = (fileLength 4) ? 4 : 0;

167. // 将读文件的开始位置移到beginIndex位置。

168. randomFile.seek(beginIndex);

169. byte[] bytes = new byte[10];

170. int byteread = 0;

171. // 一次读10个字节，如果文件内容不足10个字节，则读剩下的字节。

172. // 将一次读取的字节数赋给byteread

173. while ((byteread = randomFile.read(bytes)) != -1) {

174. System.out.write(bytes, 0, byteread);

175. }

176. } catch (IOException e) {

177. e.printStackTrace();

178. } finally {

179. if (randomFile != null) {

180. try {

181. randomFile.close();

182. } catch (IOException e1) {

183. }

184. }

185. }

186. }

187.

188. /**

189. * 显示输入流中还剩的字节数

190. *

191. * @param in

192. */

193. private static void showAvailableBytes(InputStream in) {

194. try {

195. System.out.println("当前字节输入流中的字节数为:" + in.available());

196. } catch (IOException e) {

197. e.printStackTrace();

198. }

199. }

200.

201. public static void main(String[] args) {

202. String fileName = "C:/temp/newTemp.txt";

203. ReadFromFile.readFileByBytes(fileName);

204. ReadFromFile.readFileByChars(fileName);

205. ReadFromFile.readFileByLines(fileName);

206. ReadFromFile.readFileByRandomAccess(fileName);

207. }

208. }

二、将内容追加到文件尾部

1. import java.io.FileWriter;

2. import java.io.IOException;

3. import java.io.RandomAccessFile;

4.

5. /**

6. * 将内容追加到文件尾部

7. */

8. public class AppendToFile {

9.

10. /**

11. * A方法追加文件：使用RandomAccessFile

12. * @param fileName 文件名

13. * @param content 追加的内容

14. */

15. public static void appendMethodA(String fileName, String content) {

16. try {

17. // 打开一个随机访问文件流，按读写方式

18. RandomAccessFile randomFile = new RandomAccessFile(fileName, "rw");

19. // 文件长度，字节数

20. long fileLength = randomFile.length();

21. //将写文件指针移到文件尾。

22. randomFile.seek(fileLength);

23. randomFile.writeBytes(content);

24. randomFile.close();

25. } catch (IOException e) {

26. e.printStackTrace();

27. }

28. }

29.

30. /**

31. * B方法追加文件：使用FileWriter

32. * @param fileName

33. * @param content

34. */

35. public static void appendMethodB(String fileName, String content) {

36. try {

37. //打开一个写文件器，构造函数中的第二个参数true表示以追加形式写文件

38. FileWriter writer = new FileWriter(fileName, true);

39. writer.write(content);

40. writer.close();

41. } catch (IOException e) {

42. e.printStackTrace();

43. }

44. }

45.

46. public static void main(String[] args) {

47. String fileName = "C:/temp/newTemp.txt";

48. String content = "new append!";

49. //按方法A追加文件

50. AppendToFile.appendMethodA(fileName, content);

51. AppendToFile.appendMethodA(fileName, "append end. \n");

52. //显示文件内容

53. ReadFromFile.readFileByLines(fileName);

54. //按方法B追加文件

55. AppendToFile.appendMethodB(fileName, content);

56. AppendToFile.appendMethodB(fileName, "append end. \n");

57. //显示文件内容

58. ReadFromFile.readFileByLines(fileName);

59. }

60. }

java如何快速处理大数据

文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量入库操作，清空集合，再接着读取。

//读取文件内容

while((s = br.readLine())!=null){

//判断是否达到单次处理量

if(num%leadingNum==0num!=0){

int a = stencDao.insertBatch(listBean);

if(a!=leadingNum){

flag = false;

}

//清空集合

listBean.clear();

}

String value = s.trim();

//将读取到的内容放入集合中

if(!value.equals("")){

StencilCustomer bean = new StencilCustomer();

bean.setCustomerPhone(value);

bean.setLinkStencilId(id);

listBean.add(bean);

num ++;

}

}

数据处理：这里的思路也是将数据小化然后处理，这里使用了多线程，设定单个线程处理量，然后开启多个线程处理，这里需要考虑你的服务器的承载能力，如果线程开得太多了，处理不过来，会出现蹦死的情况。例如200万数据，我开了20个线程，单个线程处理600条。

//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(

minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,

new ArrayBlockingQueueRunnable(minTaskNumber),

new ThreadPoolExecutor.DiscardOldestPolicy());

//当正在执行的线程数达到最大执行线程数的时候等待

boolean flag = true;

while(flag){

Thread.sleep(1000);//休眠2ms查询一次

int c = threadPool.getActiveCount();//线程池中活动中的线程数量

if(cmaxTaskNumber){

flag = false;

}

}

上面的代码是我对线程池的一个控制，控制服务器一直最大线程执行，Thread.sleep(1000);用while的时候，这个休眠最好不要去掉，去掉之后很影响执行效率

java快速读取的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于JAVA读取、java快速读取的信息别忘了在本站进行查找喔。