Hibernate批量插入大量数据速度性能慢的解决方案

浅浅的花香味﹌ 2023-07-16 10:58 62阅读 0赞

### **                            Hibernate批量插入大量数据速度性能慢的解决方案** ###

Hibernate的缓存，Hibernate有内部缓存与二级缓存之说。由于Hibernate对这两种缓存有着不同的管理机制，对于二级缓存，我们可以对它的大小进行相关配置，而对于内部缓存，Hibernate就采取了"放任自流"的态度了，对它的容量并没有限制。

Hibernate先把数据放到内部缓存中再操作，这使得对于大量数据的批量操作性能上很慢。

解决方案：

1：绕过Hibernate API ，直接通过 JDBC API 来做，这个方法性能上是比较好的。也是最快的。

1 Transaction tx=session.beginTransaction(); //注意用的是hibernate事务处理边界

2 Connection conn=session.connection();

3 PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary\+**1** where c.sarlary>**1000**");

4 stmt.excuteUpdate();

5 tx.commit();

2：运用存储过程。（本质是绕过hibernate api）

1 tx = session.beginTransaction();

2 Connection con=session.connection();

3 String procedure = "{call batchUpdateCustomer(？) }";

4 CallableStatement cstmt = con.prepareCall(procedure);

5 cstmt.setInt(1，0); //设置参数

6 cstmt.executeUpdate();

7 tx.commit();

3：还是用Hibernate API 来进行常规的批量处理，可以也有变，变就变在，我们可以在查找出一定的量的时候，及时的将这些数据做完操作就 删掉，session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个"一定的量"要就要根据实际情况做定量参考了。一般为30-60左右，但效果仍然不理想。

1 tx=session.beginTransaction();

2 for(int i=0;i<100000;i++)

3 {

4   Customer custom=new Customer();

5   custom.setName("user"+i);

6   session.save(custom);// 或者session.flush();session.evict(XX对象集);

7   if(i%50==0) // 以每50个数据作为一个处理单元

8   {

9    session.flush();

10   session.clear();

11   }

12 }

发表评论取消回复

表情：

评论列表（有 0 条评论，62人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL性能瓶颈：查询速度慢的解决方案

在 MySQL 中，如果发现查询速度慢，这可能源于多种原因，以下是一些解决方案： 1. **优化查询**： - 确保使用正确的表和字段。 - 使用索引提高查询效率

痛定思痛。/ 2025年01月23日 17:27/ 0 赞/ 3 阅读

相关 MySQL性能瓶颈：查询速度慢的解决方案

在MySQL中，查询速度慢的原因可能包括： 1. **数据量大**：如果表中的记录数量过多，那么进行全表扫描的效率就会降低。 2. **索引缺失或不合适**：如果查询涉及到

古城微笑少年丶/ 2024年12月17日 21:03/ 0 赞/ 39 阅读

相关批量插入大量数据的性能瓶颈

批量插入大量数据时，常见的性能瓶颈主要包括以下几个方面： 1. **数据库连接池**：如果应用程序没有正确管理数据库连接，会导致大量的空闲连接或频繁的连接创建，降低性能。

超、凢脫俗/ 2024年12月15日 15:06/ 0 赞/ 39 阅读

相关批量插入数据速度问题？

原文：[https://www.cnblogs.com/tommy-huang/p/4540407.html][https_www.cnblogs.com_tommy-h...

客官°小女子只卖身不卖艺/ 2024年04月18日 08:59/ 0 赞/ 108 阅读

相关 Hibernate批量插入大量数据速度性能慢的解决方案

Hibernate批量插入大量数据速度性能慢的解决方案 Hibernate的缓存，Hibernate有内部缓存与二

浅浅的花香味﹌/ 2023年07月16日 10:58/ 0 赞/ 62 阅读

相关 Spring data jpa 批量插入(saveAll)速度慢的问题

问题描述：项目中使用到了Spring data jpa技术，调用 JpaRepository.saveAll()方法对list中的数据进行插入时，发现速度特别慢，一条条插入

￡神魔★判官ぃ/ 2023年06月15日 07:24/ 0 赞/ 27 阅读

相关 SQLite 插入大量数据慢的解决方法

sqlite 插入数据很慢的原因：sqlite在没有显式使用事务的时候会为每条insert都使用事务操作，而sqlite数据库是以文件的形式存在磁盘中，就相当于每次访问时都要打

落日映苍穹つ/ 2022年12月27日 12:46/ 0 赞/ 247 阅读

相关解决MySQL JDBC数据批量插入慢的问题

MySQL数据库是当前最常用的数据库之一，因此MySQL的ETL相关问题也比较多，这里我们来讨论一下数据批量操作的优化当前数据批量写入或更新几乎使用的都是JDBC的方式，但

红太狼/ 2022年10月10日 11:12/ 0 赞/ 427 阅读

相关 MyBatisPlus 批量插入速度慢问题解决方案

1、saveBatch批量插入等批量操作耗时特别长，对于上万条数据更是十几秒答：先说解决方案：jdbc URL后追加参数 rewriteBatchedStatem

不念不忘少年蓝@/ 2022年09月14日 11:11/ 0 赞/ 614 阅读

相关插入大量数据速度慢的解决方法：批量插入

场景：项目需要导入案件2200条。其中导入的excel每个行案件的信息上包含大约15个联系方式。那么总的联系方式一共用30000条左右这里优化之前的速度是16-20

た入场券/ 2022年06月05日 00:56/ 0 赞/ 379 阅读