「javajxl大数据」java实现大数据

本篇文章给大家谈谈javajxl大数据，以及java实现大数据对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、大数据与java怎么兼容
• 2、java使用jxl操作一百万数据到excel中，分sheet写入(一个sheet写五万)。如何避免内存溢出？
• 3、如何用java代码生成一个大数据的excel文件？
• 4、java用JXL操作EXCEL 大文件问题

大数据与java怎么兼容

Java在处理数据量比较大的时候，加载到内存必然会导致内存溢出，而在一些数据处理中我们不得不去处理海量数据，那Java是如何处理大数据的呢？有什么技巧吗？

在做数据处理中，我们常见的手段是分解，压缩，并行，临时文件等方法。例如，我们要将数据库（不论是什么数据库）的数据导出到一个文件，一般是Excel或文本格式的CSV；对于Excel来讲，对于POI和JXL的接口，你很多时候没有办法去控制内存什么时候向磁盘写入，很恶心，而且这些API在内存构造的对象大小将比数据原有的大小要大很多倍数，所以你不得不去拆分Excel，还好，POI开始意识到这个问题，在3.8.4的版本后，开始提供cache的行数，提供了SXSSFWorkbook的接口，可以设置在内存中的行数，不过可惜的是，他当你超过这个行数，每添加一行，它就将相对行数前面的一行写入磁盘（如你设置2000行的话，当你写第20001行的时候，他会将第一行写入磁盘），其实这个时候他些的临时文件，以至于不消耗内存，不过这样你会发现，刷磁盘的频率会非常高，我们的确不想这样，因为我们想让他达到一个范围一次性将数据刷如磁盘，比如一次刷1M之类的做法，可惜现在还没有这种API，很痛苦，我自己做过测试，通过写小的Excel比使用目前提供刷磁盘的API来写大文件，效率要高一些，而且这样如果访问的人稍微多一些磁盘IO可能会扛不住，因为IO资源是非常有限的，所以还是拆文件才是上策

java使用jxl操作一百万数据到excel中，分sheet写入(一个sheet写五万)。如何避免内存溢出？

分页查数据，每写完一个sheet，就存一次档（文件保存到硬盘上），并关闭所有文件操作，主动gc；

下一个sheet，重新打开文档，并重复上面一步。

反复重复上面两步，直到你的数据写入完为止。

如何用java代码生成一个大数据的excel文件？

POI包解析 或者 只是xls的话 用 jxl 也行 poi 全支持 xls 和xlsx

然后写入 保存 ok

HSSFSheet sheet= null;

for(int sherrt= 0; sherrt wr.getNumberOfSheets();sherrt++){

sheet = wr.getSheetAt(sherrt); // 获得sheet工作簿HSSFSheet

for(int i = 0 ; i=sheet.getLastRowNum(); i++){

HSSFRow row = sheet.getRow(i);//获得行数

Iterator o = row.iterator(); //得到每行的值

int j= 0 ;

while(o.hasNext()){

if(!key){

kk = o.next().toString();

if(StrC.getSimilarityRatio(kk, Vle[j])0.7){j++;}

}else{

GetVAR[j] = o.next().toString();

j++;

}

}

这个是得到 也可以写入

java用JXL操作EXCEL 大文件问题

这个问题以前遇到过。。。

原因就是JXL要把整个Excel读到内存里，你想想一共要生成多少对象。。。结果JVM使用的内存不够用了。

解决方法就是设置JVM使用的最大内存大小。

对于Tomcat可以更改catalina.bat文件，加上 -Xmx512M 或者 -Xmx1024M;

对于Websphere应该能在Websphere控制台里面更改这个值, 修改Websphere启动脚本应该也行。

楼主去google一下具体的方法吧，应该就是这个原因。

关于javajxl大数据和java实现大数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。