「java读取大数据文件」java读取大数据文件内容

今天给各位分享java读取大数据文件的知识，其中也会对java读取大数据文件内容进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、java如何快速处理大数据
• 2、java中怎样从文件中读取数据？
• 3、Java中如何高效的读取大文件
• 4、java 从数据库中读取大数据

java如何快速处理大数据

文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量入库操作，清空集合，再接着读取。

//读取文件内容

while((s = br.readLine())!=null){

//判断是否达到单次处理量

if(num%leadingNum==0num!=0){

int a = stencDao.insertBatch(listBean);

if(a!=leadingNum){

flag = false;

}

//清空集合

listBean.clear();

}

String value = s.trim();

//将读取到的内容放入集合中

if(!value.equals("")){

StencilCustomer bean = new StencilCustomer();

bean.setCustomerPhone(value);

bean.setLinkStencilId(id);

listBean.add(bean);

num ++;

}

}

数据处理：这里的思路也是将数据小化然后处理，这里使用了多线程，设定单个线程处理量，然后开启多个线程处理，这里需要考虑你的服务器的承载能力，如果线程开得太多了，处理不过来，会出现蹦死的情况。例如200万数据，我开了20个线程，单个线程处理600条。

//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(

minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,

new ArrayBlockingQueueRunnable(minTaskNumber),

new ThreadPoolExecutor.DiscardOldestPolicy());

//当正在执行的线程数达到最大执行线程数的时候等待

boolean flag = true;

while(flag){

Thread.sleep(1000);//休眠2ms查询一次

int c = threadPool.getActiveCount();//线程池中活动中的线程数量

if(cmaxTaskNumber){

flag = false;

}

}

上面的代码是我对线程池的一个控制，控制服务器一直最大线程执行，Thread.sleep(1000);用while的时候，这个休眠最好不要去掉，去掉之后很影响执行效率

java中怎样从文件中读取数据？

分为读字节，读字符两种读法\x0d\x0a◎◎◎FileInputStream 字节输入流读文件◎◎◎\x0d\x0apublic class Maintest {\x0d\x0a\x0d\x0apublic static void main(String[] args) throws IOException {\x0d\x0a\x0d\x0aFile f=new File("G:\\just for fun\\xiangwei.txt");\x0d\x0a\x0d\x0aFileInputStream fin=new FileInputStream(f);\x0d\x0a\x0d\x0abyte[] bs=new byte[1024];\x0d\x0a\x0d\x0aint count=0;\x0d\x0awhile((count=fin.read(bs))0)\x0d\x0a{\x0d\x0a\x0d\x0aString str=new String(bs,0,count);//反复定义新变量：每一次都 重新定义新变量，接收新读取的数据\x0d\x0a\x0d\x0aSystem.out.println(str);//反复输出新变量：每一次都 输出重新定义的新变量\x0d\x0a}\x0d\x0afin.close();\x0d\x0a}\x0d\x0a}\x0d\x0a\x0d\x0a◎◎◎FileReader 字符输入流读文件◎◎◎\x0d\x0apublic class Maintest {\x0d\x0apublic static void main(String[] args) throws IOException {\x0d\x0a\x0d\x0aFile f=new File("H:\\just for fun\\xiangwei.txt");\x0d\x0a\x0d\x0aFileReader fre=new FileReader(f);\x0d\x0a\x0d\x0aBufferedReader bre=new BufferedReader(fre);\x0d\x0a\x0d\x0aString str="";\x0d\x0awhile((str=bre.readLine())!=null)//●判断最后一行不存在，为空\x0d\x0a{\x0d\x0aSystem.out.println(str);\x0d\x0a}\x0d\x0abre.close();\x0d\x0a fre.close();\x0d\x0a\x0d\x0a}\x0d\x0a\x0d\x0a}

Java中如何高效的读取大文件

读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：

Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path));

这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。

java 从数据库中读取大数据

这样每次去读取上百万条数据，不崩掉才怪，

我的想法是，你分批去查，然后分批导出，

类似于分页，每1000 或者更多为一批

按批次去执行，然后做一个进度条，按有多少批次为进度数进行导出

这样应该会好很多

还可以做个缓存机制，按批次进行存储，下次拿数据就直接从缓存中获取

java读取大数据文件的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于java读取大数据文件内容、java读取大数据文件的信息别忘了在本站进行查找喔。