MybatisPlus批量插入数据 (job 刷数据同步)

川长思鸟来 2024-03-25 12:37 21阅读 0赞

mybatis-plus 的mybatis-plus-extension 包提供了 com.baomidou.mybatisplus.extension.injector.methods.InsertBatchSomeColumn 类，几行配置就能实现批量插入

#### 原理 ####

mybatis plus的IService里面的batch方法是使用了batchSession进行提交的，只要你的jdbc连接上加上了rewriteBatchedStatements=true配置项，在调用batch\*方法的时候，实际上就是开启了批量提交，但是是在批量的条数完成后一次性提交过去的，虽然还是一条一条插入，但是最终是一个提交请求完成的，这个和for循环，提交一条开启一个事物的方式是完全不同的

现在的批量操作有两种，一种是我们常规的for循环拼接sql，形成一个完整的超长sql一次提交过去，这种是效率最高的，但是也是受数据库以及sql语句的限制，还有一种就是利用jdbc的batchSession，开启一个长事物，在事物内，多次传递insert等语句，最后在批量的数量达到以后，在进行一次提交操作完成，mp使用的就是这种方案，这种实际上也是完成了批量操作，好处是，只要jdbc连接支持，就可以完成，不受数据库以及语法的限制，但是性能比for拼接sql的方式要慢上一点，实际上测试下来，性能还是比for循环一条一条插入快了很多的，对数据库来说消耗更多的是事物，每次都开启事物消耗是最大的，这两种方案实际上都是减少了事物的开启，只是传递多条sql和传递一条sql的区别，性能差距不大

[springboot 集成的 mybatis 设置 executorType 为 batch模式][springboot _ mybatis _ executorType _ batch]

[mybatis批量插入优化（ExecutorType.BATCH/BatchInsert/executeBatch）][mybatis_ExecutorType.BATCH_BatchInsert_executeBatch]

[MyBatis批量插入几千条数据慎用foreach][MyBatis_foreach]

[大数据量List分批处理切割][List]

[mybatis-plus真正批量新增和更新 - 自定义代码模板][mybatis-plus_ -]

[springboot _ mybatis _ executorType _ batch]: https://blog.csdn.net/gzt19881123/article/details/122815596
[mybatis_ExecutorType.BATCH_BatchInsert_executeBatch]: https://blog.csdn.net/moshowgame/article/details/122226553
[MyBatis_foreach]: https://blog.csdn.net/huanghanqian/article/details/83177178
[List]: https://www.jianshu.com/p/447a26a6127d
[mybatis-plus_ -]: https://www.jianshu.com/p/df14fa887b85