SpringBoot+Mybatis-plus整合easyExcel批量导入Excel到数据库+导出Excel

电玩女神 2023-10-02 23:36 60阅读 0赞

### 一、前言 ###

今天小编带大家一起整合一下`easyExcel`，之所以用这个，是因为`easyExcel`性能比较好，不会报`OOM`！

市面上常见的导入导出Excel分为三种：

*  hutool
 *  easyExcel
 *  poi

`hutool`和`easyExcel`都是对`poi`的封装，使用起来更加方便！  
如果想使用`poi`和`hutool`导出的可以看一下小编的之前写的文章：

[使用POI+hutool导入Excel][POI_hutool_Excel]  
[使用POI把查询到的数据表数据导出到Excel中,一个表一个sheet][POI_Excel_sheet]

导出的话看一下这篇，下面主要以导入来展开介绍！  
[EasyExcel导出Excel表格到浏览器，并通过Postman测试导出Excel][EasyExcel_Excel_Postman_Excel]

### 二、导入依赖 ###

小编这里是`3.0.X`版本的，版本不同可能导致部分有出入，如果大家版本是`3.1.X`，可以去官方文档看看有不一样的！

[官方文档][Link 1]

<dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>3.0.5</version>
    </dependency>

### 三、实体类 ###

这里可以自带的转换器：

*  @DateTimeFormat(“yyyy年MM月dd日HH时mm分ss秒”)
 *  LocalDateTimeStringConverter

或者自定义转化器：  
实现：`implements Converter<T>`

具体文档：[官方文档][Link 2]

`@ExcelProperty`参数注意：

这里不建议 index 和 name 同时用，要么一个对象只用index，要么一个对象只用name去匹配

用名字去匹配，这里需要注意，如果名字重复，会导致只有一个字段读取到数据

/**
     * @author wangzhenjun
     * @date 2022/12/2 15:52
     */
    @Data
    public class Test {
        
    
        @TableId
        private Integer id;
        @ExcelProperty(index = 0)
        private String name;
        @ExcelProperty(index = 1)
        private Integer age;
        @ExcelProperty(index = 2,converter = LocalDateTimeStringConverter.class)
        private LocalDateTime time;
    }

### 四、编写监听器 ###

**注意点：**  
这个监听器一定不要是单例的，被spring管理默认为单例，如果要使用`@Component`，一定要加上：  
`@Scope("prototype")`，这样在创建完后spring不会进行管理，每次都会是新bean！  
不加`@Component`在导入时要进行`new ImportDataListener`！  
小编这里不想new了直接这样写！！如果不想这样，可以使用构造器set进行使用！  
`BATCH_COUNT`：数据阈值，超过了就会清理list，在之前可以进行保存到数据库中，方便内存回收，防治`OOM`！  
这里保存到数据库中一般使用`批量保存`，不要解析到一行就去保存数据库中，这样数据量大会给数据库增加IO，导致挂掉！这里小编使用`ServiceImpl`的`saveBatch()`方法，也可以自己写一下，像小编这样写，会出现循环依赖，加上`@Lazy`就行！

/**
     * @author wangzhenjun
     * @date 2022/12/2 15:38
     */
    @Slf4j
    @Component
    // 每次bean都是新的，不要单例
    @Scope("prototype")
    public class ImportDataListener implements ReadListener<Test> {
        
    
        @Autowired
        @Lazy
        private TestService testService;
        
        /**
         * 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
         */
        private static final int BATCH_COUNT = 100;
        /**
         * 缓存的数据
         */
        private List<Test> importExcelDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
    
    
        /**
         * 这个每一条数据解析都会来调用
         *
         * @param data    one row value. Is is same as {@link AnalysisContext#readRowHolder()}
         * @param context
         */
        @Override
        public void invoke(Test data, AnalysisContext context) {
        
            log.info("解析到一条数据:{}", JSON.toJSONString(data));
            importExcelDataList.add(data);
            // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
            if (importExcelDataList.size() >= BATCH_COUNT) {
        
                saveData();
                // 存储完成清理 list
                importExcelDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
            }
        }
    
        /**
         * 所有数据解析完成了 都会来调用
         *
         * @param context
         */
        @Override
        public void doAfterAllAnalysed(AnalysisContext context) {
        
            // 这里也要保存数据，确保最后遗留的数据也存储到数据库
            saveData();
            log.info("所有数据解析完成！");
        }
    
        /**
         * 加上存储数据库
         */
        private void saveData() {
        
            log.info("{}条数据，开始存储数据库！", importExcelDataList.size());
            testService.saveBatch(importExcelDataList);
            log.info("存储数据库成功！");
        }
    }

### 五、Controller ###

/**
     * @author wangzhenjun
     * @date 2022/10/26 16:51
     */
    @Slf4j
    @RestController
    @RequestMapping("/test")
    public class TestController {
        
    
        @Autowired
        private TestService testService;
    
        @PostMapping("/import")
        public Result importExcel(@RequestBody MultipartFile multipartFile){
        
            testService.importExcel(multipartFile);
            return Result.success("ok");
        }
    }

### 六、Service ###

/**
     * @author wangzhenjun
     * @date 2022/10/26 16:55
     */
    public interface TestService extends IService<Test> {
        
        void importExcel(MultipartFile multipartFile);
    }

### 七、ServiceImpl ###

/**
     * @author wangzhenjun
     * @date 2022/10/26 16:56
     */
    @Service
    public class TestServiceImpl extends ServiceImpl<TestDbMapper, Test> implements TestService{
        
    
        @Autowired
        private ImportDataListener importDataListener;
    
        @SneakyThrows
        @Override
        public void importExcel(MultipartFile multipartFile) {
        
            InputStream inputStream = multipartFile.getInputStream();
            // 这里 需要指定读用哪个class去读，然后读取第一个sheet 文件流会自动关闭
            EasyExcel.read(inputStream, Test.class, importDataListener).sheet().doRead();
        }
    }

### 八、Mapper ###

/**
     * @author wangzhenjun
     * @date 2022/10/26 17:07
     */
    public interface TestDbMapper extends BaseMapper<Test> {
        
    }

### 九、测试 ###

准备Excel数据：  
![在这里插入图片描述][d24a4f0ef361479ca76f986ebd236f3e.png]  
postman上传：

![在这里插入图片描述][4ddbeea835374ac58a6da966ea3fe7b4.png]  
控制台打印：  
![在这里插入图片描述][8b0f421e6f984f798c72c781f1d76ca3.png]  
数据库查看：  
![在这里插入图片描述][5976eb0d61784a54b9a9f24574e5ee66.png]  
完美搞定！！

### 十、总结 ###

这样就完成了easyExcel批量导入Excel到数据库，还是有很多要注意的点：

*  自定义转换器
 *  监听器不要单例
 *  保存数据库采用批量
 *  版本差距

如果对你有帮助，还请不要吝啬您的发财小手，你的一键三连是我写作的动力，谢谢大家哈！！

--------------------

可以看下小编的微信公众号，和网站文章首发看，欢迎关注，一起交流哈！！

[点击访问！小编自己的网站，里面也是有很多好的文章哦！][Link 3]

[POI_hutool_Excel]: https://blog.csdn.net/qq_52423918/article/details/119818920
[POI_Excel_sheet]: https://blog.csdn.net/qq_52423918/article/details/119816870
[EasyExcel_Excel_Postman_Excel]: https://mp.weixin.qq.com/s?__biz=Mzg2OTcyMDc4NA==&mid=2247484720&idx=1&sn=99935858d8adbd440ae2b9c64b5fedf8&chksm=ce99f28ff9ee7b99175a142790001ba11491b462c09b7cfa63c4eaa17f3c0945168ebc51e8a7#rd
[Link 1]: https://easyexcel.opensource.alibaba.com/
[Link 2]: https://easyexcel.opensource.alibaba.com/docs/3.0.x/quickstart/read#%E6%97%A5%E6%9C%9F%E6%95%B0%E5%AD%97%E6%88%96%E8%80%85%E8%87%AA%E5%AE%9A%E4%B9%89%E6%A0%BC%E5%BC%8F%E8%BD%AC%E6%8D%A2
[d24a4f0ef361479ca76f986ebd236f3e.png]: https://img-blog.csdnimg.cn/d24a4f0ef361479ca76f986ebd236f3e.png
[4ddbeea835374ac58a6da966ea3fe7b4.png]: https://img-blog.csdnimg.cn/4ddbeea835374ac58a6da966ea3fe7b4.png
[8b0f421e6f984f798c72c781f1d76ca3.png]: https://img-blog.csdnimg.cn/8b0f421e6f984f798c72c781f1d76ca3.png
[5976eb0d61784a54b9a9f24574e5ee66.png]: https://img-blog.csdnimg.cn/5976eb0d61784a54b9a9f24574e5ee66.png
[Link 3]: https://wangzhenjun.xyz