记一次优化JPA批量存储数据

系统管理员 2023-06-28 06:23 17阅读 0赞

### 记一次优化JPA批量存储数据 ###

*   *  写在前面
     *  一、优化细节
     *  二、批量 insert 数据时，应注意的

## 写在前面 ##

JPA中的批量存储方案，Save( )，或者saveAll( ),

## 一、优化细节 ##

其实数据不大，excel 导入 500条数据，用了 40s，可能的原因

*  excel解析速度
 *  集合操作（几种for循环的不同）
 *  JPA的保存操作，save()和saveAll()
 *

其实最后，试了很多次，这么都不是主要原因，而是SpringSecurity中一个对象

// 这里密码部分若是放到循环里面，会大大消耗执行时间
            String encode = passwordEncoder.encode(Constants.USER_DEFAULT_PD);
    
            usersFromExcel.forEach(user -> { 
                user.setPassword(encode);
                user.setDepartmentId(departmentNames.get(user.getDepartmentName().trim()));
    
                user.setCreateBy(currentUserLogin);
                user.setUpdateBy(currentUserLogin);
                user.setCreateTime(now);
                user.setUpdateTime(now);
                UserInfo saveUser = userRepository.save(user);
    
                UserRole userRole = new UserRole(saveUser.getUserId(), defaultRoleId);
                userRoleRepository.save(userRole);
            });

## 二、批量 insert 数据时，应注意的 ##

*  尽量使用saveAll(),有时候并不是主要原因，甚至两者差不多，两者在保存时，其实都对数据验证了，其实也浪费了没必要的步骤，
 *  Mysql服务端的缓存配置
 *  客户端的连接配置
 *  构造初始化对象，这里可能是你并没有很好的初始化对象，占用太多时间构造数据（save之前）
 *  save(),或者SaveAll(),或者如下代码，分批次批处理
 *  多线程异步操作，分隔 task，以及单个失败时，处理机制

分批次批处理，处理方案

// 公共方法抽取
        private void saveUsers(LocalDateTime now, String currentUserLogin, List<UserInfo> usersFromExcel,
                Map<String, Long> departmentNames,Long defaultRoleId) { 
    
            usersFromExcel.forEach(user -> { 
                user.setPassword(passwordEncoder.encode(Constants.USER_DEFAULT_PD));
                user.setDepartmentId(departmentNames.get(user.getDepartmentName().trim()));
    
                user.setCreateBy(currentUserLogin);
                user.setUpdateBy(currentUserLogin);
                user.setCreateTime(now);
                user.setUpdateTime(now);
            });
    
    
            // 批量保存
            List<UserInfo> userInfos = userRepository.saveAll(usersFromExcel);
    // this.addListModelParams(usersFromExcel);
    
    // List<UserRole> collect = usersFromExcel.stream().map(e -> new UserRole(e.getUserId(), defaultRoleId)).collect(Collectors.toList());
    //
    // userRoleRepository.saveAll(collect);
        }
    
        public void addListModelParams(List<UserInfo> list) { 
            int listsize = list.size();
            if (listsize == 0) { 
                throw new RuntimeException("集合为空！") ;
            } else { 
    
                //批量存储的集合
                List<UserInfo> data = new ArrayList<UserInfo>();
    
                //批量存储
                for (UserInfo s : list) { 
                    // 分 6 次批量存储
                    if(data.size() == listsize/5) { 
                        userRepository.saveAll(data);
                        data.clear();
                    }
                    data.add(s);
                }
                //将剩下的数据也导入
                if(!data.isEmpty()) { 
                    userRepository.saveAll(data);
                }
            }
        }