springboot使用EasyExcel实现excel导出千万大数据量

古城微笑少年丶 2024-03-22 08:48 21阅读 0赞

## 介绍 ##

EasyExcel是一个基于Java的、快速、简洁、解决大文件内存溢出的Excel处理工具。  
他能让你在不用考虑性能、内存的等因素的情况下，快速完成Excel的读、写等功能。

Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。  
easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要100M左右内存，改用easyexcel可以降低到几M，并且再大的excel也不会出现内存溢出；03版依赖POI的sax模式，在上层做了模型转换的封装，让使用者更加简单方便

## maven依赖 ##

<dependency>
    			<groupId>com.alibaba</groupId>
    			<artifactId>easyexcel</artifactId>
    			<version>3.2.1</version>
    		</dependency>

## 大数据量web导出excel代码 ##

@GetMapping("/download")
        public void download(HttpServletResponse response) throws IOException {
            log.info("*********导出开始！**************");
    
            String fileName ="downloadBig";
            OutputStream outputStream =null;
            //模拟的分页查询数据
            List<URLModel> data =new ArrayList<>();
            for (int i = 0; i < 20; i++) {
                URLModel urlModel=new URLModel();
                urlModel.setUrl("url"+i);
                urlModel.setName("setName"+i);
                urlModel.setWebCategoryName("setWebCategoryName"+i);
                data.add(urlModel);
            }
            try {
                int totalCount=10000;
                //每一个Sheet存放100w条数据
                int sheetDataRows = 100;
                //每次写入的数据量20w,每页查询20W
                int writeDataRows = 20;
                //计算需要的Sheet数量
                Integer sheetNum = totalCount % sheetDataRows == 0 ? (totalCount / sheetDataRows) : (totalCount / sheetDataRows + 1);
                //计算一般情况下每一个Sheet需要写入的次数(一般情况不包含最后一个sheet,因为最后一个sheet不确定会写入多少条数据)
                Integer oneSheetWriteCount = sheetDataRows / writeDataRows;
                //计算最后一个sheet需要写入的次数
                Integer lastSheetWriteCount = totalCount % sheetDataRows == 0 ? oneSheetWriteCount : (totalCount % sheetDataRows % writeDataRows == 0 ? (totalCount / sheetDataRows / writeDataRows) : (totalCount / sheetDataRows / writeDataRows + 1));
                outputStream = response.getOutputStream();
                //必须放到循环外，否则会刷新流
                ExcelWriter excelWriter = EasyExcel.write(outputStream).build();
                //开始分批查询分次写入
                for (int i = 0; i < sheetNum; i++) {
                    //创建Sheet
                    WriteSheet sheet = new WriteSheet();
                    sheet.setSheetName("Sheet"+i);
                    sheet.setSheetNo(i);
                    //循环写入次数: j的自增条件是当不是最后一个Sheet的时候写入次数为正常的每个Sheet写入的次数,如果是最后一个就需要使用计算的次数lastSheetWriteCount
                    for (int j = 0; j < (i != sheetNum - 1 ? oneSheetWriteCount : lastSheetWriteCount); j++) {
                        WriteSheet writeSheet = EasyExcel.writerSheet(i, "Sheet" + (i + 1)).head(URLModel.class)
                                .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy()).build();
                        excelWriter.write(data, writeSheet);
                    }
                }
    
                // 下载EXCEL，返回给前段stream流
                response.setContentType("application/octet-stream");
                response.setCharacterEncoding("utf-8");
                response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileName + ".xlsx");
                excelWriter.finish();
                outputStream.flush();
                outputStream.close();
                log.info("*********导出结束！**************");
    
            } catch (Exception e) {
                e.printStackTrace();
            }finally {
                if (outputStream != null) {
                    outputStream.close();
                }
            }