SpringBoot大文件上传easyexcel

「爱情、让人受尽委屈。」 2022-11-19 04:23 300阅读 0赞

# **一、需求背景** #

上传60M，100w行的Excel文档，读取数据到MySQL库
    使用POI读取，直接内存溢出
    于是使用阿里提供的easyExcel

## **二、easyExcel简介** ##

官方api地址：https://www.yuque.com/easyexcel/doc/easyexcel
    github地址：https://github.com/alibaba/easyexcel
    
    简单来说 尽可能节约内存的来支持读写，使用磁盘空间换取内存空间
    节约内存操作
    1、如果ta接收的是一个文件流，需要缓存成文件，不然解析会很占内存
    2、并拆分成多个xml文件
    3、5M内 直接放到内存map，超过5M 使用 ehcache 存储成文件
    4、逐行读取分析

# 三、**easyExcel读取** #

## 1、Excel格式分析 ##

![20210414154636576.png][]

分析得到标题：    字符串	数字	时间
    对应的数据类型为：String Double   Date

## 2、构建Excel数据实体类 ##

@Data
    public class ExcelData {
        @ExcelProperty("字符串")
        private String string;
        @ExcelProperty("数字")
        private Double doubleData;
        @ExcelProperty("时间")
        private Date date;
    }

## 3、构建监听器 ##

### （1）简单版，单纯的数据读取 ###

public class ExcelDataListener extends AnalysisEventListener<ExcelData> {
        private static final Logger logger = LoggerFactory.getLogger(ExcelDataListener.class);
    
        /**
         * 解析到一行数据
         */
        @Override
        public void invoke(ExcelData data, AnalysisContext context) {
            logger.info("解析到一条数据:{}", JSON.toJSONString(data));
        }
        /**
         * 所有数据解析完成
         */
        @Override
        public void doAfterAllAnalysed(AnalysisContext context) {
            logger.info("所有数据解析完成！");
        }
    
    }

### （2）进阶版，数据存储 ###

// DemoDataListener 不能被spring管理，无法注入Dao层进行数据存储，可以使用构造函数传递Dao层
    public class ExcelDataListener extends AnalysisEventListener<ExcelData> {
        private static final Logger logger = LoggerFactory.getLogger(ExcelDataListener.class);
        private DataDAO dataDao;
        /**
         * 构造函数传递Dao层
         */
        public DemoDataListener(DataDAO dataDao) {
            this.dataDao = dataDao;
        }
    
        /**
         * 解析到一行数据
         */
        @Override
        public void invoke(ExcelData data, AnalysisContext context) {
    
            logger.info("解析到一条数据:{}", JSON.toJSONString(data));
            dataDao.save(data);
            logger.info("存储完成:{}", JSON.toJSONString(data));
            
        }
        /**
         * 所有数据解析完成
         */
        @Override
        public void doAfterAllAnalysed(AnalysisContext context) {
            logger.info("所有数据解析完成！");
        }
    }

### （3）高级进阶版-批量存储 ###

// DemoDataListener 不能被spring管理，无法注入Dao层进行数据存储，可以使用构造函数传递Dao层
    public class ExcelDataListener extends AnalysisEventListener<ExcelData> {
        private static final Logger logger = LoggerFactory.getLogger(ExcelDataListener.class);
    
        /**
         * 每隔1000条存储数据库
         */
        private static final int MAX_COUNT = 10000;
        List<ExcelData> list = new ArrayList<ExcelData>();
        private DataDAO dataDao;
        /**
         * 构造函数传递Dao层
         */
        public DemoDataListener(DataDAO dataDao) {
            this.dataDao = dataDao;
        }
    
        /**
         * 解析到一行数据
         */
        @Override
        public void invoke(ExcelData data, AnalysisContext context) {
    
            logger.info("解析到一条数据:{}", JSON.toJSONString(data));
            //存储到list中
            list.add(data);
            //到达我们设置的上限
            if (list.size() >= MAX_COUNT) {
                //批量存储
                dataDao.saveAll(list);
                logger.info("存储完成:{}", list.size());
                // 存储完成清理 list
                list.clear();
            }
            
        }
        /**
         * 所有数据解析完成
         */
        @Override
        public void doAfterAllAnalysed(AnalysisContext context) {
            //批量存储 确保最后遗留的数据保存成功
            dataDao.saveAll(list);
            logger.info("存储完成:{}", list.size());
            logger.info("所有数据解析完成！");
        }
    }

### （4）高级进化-多线程 ###

// 使用线程队列，先将数据推到队列，然后再使用多线程消费队列
    public class ExcelDataListener extends AnalysisEventListener<ExcelData> {
        private static final Logger logger = LoggerFactory.getLogger(ExcelDataListener.class);
        private DataDAO dataDao;
        private RedisTemplate redisTemplate;
        private String key;
        /**
         * 构造函数传递Dao层 和 Redis层以及key
         */
        public DemoDataListener(DataDAO dataDao,RedisTemplate redisTemplate,String key) {
            this.dataDao = dataDao;
            this.redisTemplate = redisTemplate;
            this.key = key;
        }
    
        /**
         * 解析到一行数据
         */
        @Override
        public void invoke(ExcelData data, AnalysisContext context) {
            String value = JSON.toJSONString(data);
            logger.info("解析到一条数据:{}", value);
            redisTemplate.set(key,value);
            logger.info("存储完成:{}", value);
            
        }
        /**
         * 所有数据解析完成
         */
        @Override
        public void doAfterAllAnalysed(AnalysisContext context) {
            logger.info("所有数据解析完成！");
        }
    }

多线程消费

ExecutorService newFixedThreadPool = Executors.newFixedThreadPool(15);
    for (int i=0;i<15;i++){
                newFixedThreadPool.execute(new Runnable() {
                    @Override
                    public void run() {
                        try {
                            while (true){
                                //从easyExcel填充的队列里读取
                                String value = redisTemplate.spop(key);
                                if(StringUtils.isEmpty(value)){
                                       //队列为空暂时休眠，自己调控
                                       Thread.sleep(30000);
                                }else{
                                    //解析json并保存
                                    ExcelData excelData = JSON.parseObject(value, ExcelData.class);
                                    excelDao.save(excelData);
                                }
                            }
                        }catch (Exception e){
                            e.printStackTrace();
                        }
                    }
                });
    }

# 四、开始读取Excel #

ExcelDataListener listener = new ExcelDataListener();
            ExcelReader excelReader = null;
            try {
                logger.info("excelReader 构建");
                excelReader = EasyExcel.read(file.getInputStream(), ExcelData.class, listener).build();
                logger.info("readSheet 构建");
                ReadSheet readSheet = EasyExcel.readSheet(0).build();
                logger.info("readSheet 读取");
                excelReader.read(readSheet);
            }catch (Exception e){
                e.printStackTrace();
            }finally {
                if (excelReader != null) {
                    // 这里千万别忘记关闭，读的时候会创建临时文件，到时磁盘会崩的
                    excelReader.finish();
                }
            }

[20210414154636576.png]: /images/20221022/2fdedcfe6a544989a93a7e33166554a7.png