关于jdbc向mysql和postgresql批量插入大量数据时候的优化！

清疚 2022-03-09 17:19 873阅读 0赞

1.对于mysql数据库，driverurl中加入:allowMultiQueries=true&rewriteBatchedStatements=true; 这样在使用jdbctemplate插入的时候，类似:

private void insertData(JdbcTemplate insertJdbcTemplate, String insertCoreSql, List<Map<String, Object>> dataList, int cols) {
            insertJdbcTemplate.batchUpdate(insertCoreSql, new BatchPreparedStatementSetter() {
                @Override
                public void setValues(PreparedStatement preparedStatement, int i) throws SQLException {
                    Map<String, Object> dataMap = dataList.get(i);
                    for (int index = 1; index <= cols; index++) {
                        preparedStatement.setObject(index, dataMap.get(index + ""));
                    }
                }
    
                @Override
                public int getBatchSize() {
                    return dataList.size();
                }
            });

使用mybatis批量插入的时候，类似foreach转成insert into values(),(),(),()...这总， 性能有巨大提升！

2.对于postgresql数据库，或基于postgresql的greenplum数据仓库，driverurl中加入:reWriteBatchedInserts=true,这个是从postgresql的jdbc高版本驱动(9.4.1209开始加，但是有bug)才加入的特性，详细见：[https://jdbc.postgresql.org/documentation/changelog.html\#version\_42.2.2][https_jdbc.postgresql.org_documentation_changelog.html_version_42.2.2]，建议升级驱动到42.2.2版本，否则即使你将sql写成insert into values(),(),(),()这种形式，一样被转化成单条插入。

[https_jdbc.postgresql.org_documentation_changelog.html_version_42.2.2]: https://jdbc.postgresql.org/documentation/changelog.html#version_42.2.2