接口查询优化：优雅的处理大批量数据及 in 超过 1000 问题

待我称王封你为后i 2023-09-28 09:28 26阅读 0赞

> 我是 ABin-阿斌：写一生代码，创一世佳话，筑一览芳华。  
> 如果小伙伴觉得不错就一键三连吧~  
> ![在这里插入图片描述][20201016161427585.png_pic_center]

### 文章目录 ###

*  一、问题点
 *  二、解决方案
 *   *  1、在业务层面用Java代码进行分页处理
     *  2、使用工具类 List 总数切分
     *  3、自己封装一个分页工具类
     *   *   *  工具类代码
         *  案例展示
     *  4、适用于Mybatis SQL写法

# 一、问题点 #

*  有时候在查询数据时可能需要根据【A表】的某个 ID 去获取 【B表】 的具体信息，但是又因为数据量的庞大，我们需要对 【A表】查出来的数据结果进行分页处理之后再循环调用【B表】

# 二、解决方案 #

## 1、在业务层面用Java代码进行分页处理 ##

*  比如：通过策略ID去获取当前策略下的订单信息，那么为了防止订单信息过多我们可以这么做

![在这里插入图片描述][4c7f7ce83f4944b8964b2974017fd18f.png]

*  首先将查询获取订单信息在Service层写一个分页接口，然后进行调用
 *  具体的分页参数信息可以根据业务来定，这里进行分批处理，一页：100条
 *  然后进行循环翻页处理

![在这里插入图片描述][dc311ae124f24ef4a0f0c5fa01e4866b.png]

![在这里插入图片描述][8b106a28fdd749409fabe09aeb9fa5ca.png]  
![在这里插入图片描述][8665b8b886a44bbcb21ce3dd7b371ce9.png]

## 2、使用工具类 List 总数切分 ##

*  **注意：** ListUtil.partition()，这个方法从某种意义上说并没有达到真正分页的效果，因为当我们使用这个方法时，List结果早已执行出来了；我们要做的就是在结果没有出来之前就减少 DB 的压力。
 *  当然，具体业务具体分析，少量的数据可以使用这个方法
 *  直接使用 Hutool 工具类中的 ListUtil.partition(list，100)方法，**参数一：** 具体 list、**参数二：** 具体分多少条

## 3、自己封装一个分页工具类 ##

*  下面这个工具类适用于 MyBatisPlus

#### 工具类代码 ####

public class MybatisParameterUtils {
        
    
    
        public static <T, F> void cutInParameter(LambdaQueryWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.in(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().in(column, objects);
                }
            });
        }
    
        public static <T, F> void cutNotInParameter(LambdaQueryWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.notIn(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().notIn(column, objects);
                }
            });
        }
    
    
        public static <T, F> void cutInParameter(LambdaQueryChainWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.in(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().in(column, objects);
                }
            });
        }
    
        public static <T, F> void cutNotInParameter(LambdaQueryChainWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.notIn(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().notIn(column, objects);
                }
            });
        }
    
        public static <T, F> void cutInParameter(LambdaUpdateWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.in(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().in(column, objects);
                }
            });
        }
    
        public static <T, F> void cutNotInParameter(LambdaUpdateWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.notIn(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().notIn(column, objects);
                }
            });
        }
    
    
        public static <T, F> void cutInParameter(LambdaUpdateChainWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.in(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().in(column, objects);
                }
            });
        }
    
        public static <T, F> void cutNotInParameter(LambdaUpdateChainWrapper<T> wrapper, SFunction<T, ?> column, List<F> coll) throws Exception {
        
            List<List<F>> newList = splitList(coll, 900);
            if (ObjectUtils.isEmpty(newList)) {
        
                throw new Exception("参数错误");
            } else if (newList.size() == 1) {
        
                wrapper.notIn(column, newList.get(0));
                return;
            }
    
            wrapper.and(i -> {
        
                i.in(column, newList.get(0));
                newList.remove(0);
                for (List<F> objects : newList) {
        
                    i.or().notIn(column, objects);
                }
            });
        }
    
    
        public static <F> List<List<F>> splitList(List<F> list, int groupSize) {
        
            int length = list.size();
            // 计算可以分成多少组
            int num = (length + groupSize - 1) / groupSize;
            List<List<F>> newList = new ArrayList<>(num);
            for (int i = 0; i < num; i++) {
        
                // 开始位置
                int fromIndex = i * groupSize;
                // 结束位置
                int toIndex = Math.min((i + 1) * groupSize, length);
                newList.add(list.subList(fromIndex, toIndex));
            }
            return newList;
        }
    }

### 案例展示 ###

*  思路就是把条件拆成小于 1000 的组合条件 写 xml 同理

//                                    这是一个条件wrapper    get方法的方法引用    一个参数list   
        MybatisParameterUtils.cutInParameter(deleteInfoWrapper,   Vo::getId,          list);

*  要带进去 In 的参数，这个参数有数量可能会很大  
    ![在这里插入图片描述][34bb6e0b7ee44959981d9e4bafebf559.png]
 *  参数一：wrapper；参数二：要 in 那个的参数；参数三：具体带进去 in 的参数(list)  
    ![在这里插入图片描述][fd2a63b280154f62ae94b4ab5fe264b6.png]

## 4、适用于Mybatis SQL写法 ##

[20201016161427585.png_pic_center]: https://img-blog.csdnimg.cn/20201016161427585.png#pic_center
[4c7f7ce83f4944b8964b2974017fd18f.png]: https://img-blog.csdnimg.cn/4c7f7ce83f4944b8964b2974017fd18f.png
[dc311ae124f24ef4a0f0c5fa01e4866b.png]: https://img-blog.csdnimg.cn/dc311ae124f24ef4a0f0c5fa01e4866b.png
[8b106a28fdd749409fabe09aeb9fa5ca.png]: https://img-blog.csdnimg.cn/8b106a28fdd749409fabe09aeb9fa5ca.png
[8665b8b886a44bbcb21ce3dd7b371ce9.png]: https://img-blog.csdnimg.cn/8665b8b886a44bbcb21ce3dd7b371ce9.png
[34bb6e0b7ee44959981d9e4bafebf559.png]: https://img-blog.csdnimg.cn/34bb6e0b7ee44959981d9e4bafebf559.png
[fd2a63b280154f62ae94b4ab5fe264b6.png]: https://img-blog.csdnimg.cn/fd2a63b280154f62ae94b4ab5fe264b6.png