「java存储大量数据」Java存储数据

admin 2022-12-12 14:18:09 73

本篇文章给大家谈谈java存储大量数据，以及Java存储数据对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

因为基本数据类型都有固定的大小，只能储存一定范围的数据

所以，对于较大的数据，只能通过数据类的方式实现：

java.math.BigDecimal

java.math.BigInteger

1、加大Java可使的内存量、单次提交的条数再扩大些、扩大java连接数据库最大连接数都可以从量上来解决这个问题，但是想质的解决这样做是不好的。

2、用存储过程，来解决大量数据的CRUD是最明智的选择。写个存储过程，把数据一千条或几条的传给存储过程，由存储过程去解析，然后CRUD就能从本质上解决这个问题了。

这也是为何电信运营商的数据库应中，都是大量的存储过程即pl/sql的原因了。

小子，解决问题的思路首先就不对，什么叫JAVA中……JVM虚拟内存一般只有几百M，为何别人那么多大型系统都能跑起来？

第一，大量的数据是不会考虑放在JVM内存中；

第二，如果需要缓存大量的dto，动态数据（又称过程数据）一般用的是redis；如果是静态，系统启动时就加载的大量配置，一般考虑放ehcache。

第三，由于redis用的是物理内存，不是JVM内存，一般情况下往redis里丢千万级别的记录数基本不影响性能，小小100w条算什么呢。

效率快慢不在于遍历，而是数据库的提交。只要不是频繁的提交（commit）数据也差不了多少。提高效率的方式有：如果你用的是jdbc技术，请使用batchUpdate()，如果你的数据库是oracle可以使用ocracle专有的insert all into语句，具体语法请查阅oracle api

内存溢出导致程序崩溃，也分是java层崩了，还是mysql崩了。

如果是java层崩了，注意不要一次性加载太多的数据到内存，并且不在使用的数据要彻底放弃引用关系。java虽然是自动回收，回收的原则就是一个对象不再被持有，即引用计数为零。如果数据太大，可考虑临时文件。

如果是mysql崩了，首先增加配置缓存。一般来说mysql是不容易崩的，特别是插入操作的时候。查询的时候如果查询结果记录集特别大，会导致一个查询需要使用很大的内存空间，这种是有问题的。而插入操作都是一条一条的执行，不会导致大内存的使用。

如果仅仅是数据移植，也尽量不要用ORM框架，比如hibernate，mybatis这些东西，因为他们都有自己的缓存，直接使用JDBC比较好。

BLOB (binary large object)，二进制大对象，是一个可以存储二进制文件的容器,用于存储图片，视频等。

CLOB(Character Large Object)，字符大对象，存储小说、论文等字符串组成的大对象。

java中对应的包为java.sql

mysql数据库中有blob和clob两种类型，直接存就可以。

关于java存储大量数据和Java存储数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。

The End

发布于：2022-12-12，除非注明，否则均为首码项目网原创文章，转载请注明出处。