easyexcel的源码简单分析

刺骨的言语ヽ痛彻心扉 2023-03-14 05:54 31阅读 0赞

### 文章目录 ###

*  读的流程图
 *  逻辑分析
 *   *  1.EasyExcel
     *  2.EasyExcelFactory
     *  ExcelReaderSheetBuilder
     *  ExcelReader
     *  ExcelAnalyserImpl
     *  XlsxSaxAnalyser
     *  DefaultAnalysisEventProcessor
     *  DemoDatalistener的invoke()方法被调用
     *  返回到XlsxSaxAnalyser
     *  DefaultAnalysisEventProcessor的endSheet(）
     *  DemoDataistener的doAfterAllAnalysed()
 *  备注：官方给的详细参数介绍
 *   *  关于常见类解析
     *  读
     *   *  注解
         *  参数
         *   *  通用参数
             *  ReadWorkbook（理解成excel对象）参数
             *  ReadSheet（就是excel的一个Sheet）参数
     *  写
     *   *  注解
         *  参数
         *   *  通用参数
             *  WriteWorkbook（理解成excel对象）参数
             *  WriteSheet（就是excel的一个Sheet）参数
             *  WriteTable（就把excel的一个Sheet,一块区域看一个table）参数
 *  10M以上文件读取说明
 *   *  如果对读取效率感觉还能接受，就用默认的，永久占用（单个excel读取整个过程）一般不会超过50M(大概率就30M)，剩下临时的GC会很快回收
     *  默认大文件处理
     *  根据实际需求配置内存
     *   *  如果最大文件条数也就十几二十万，然后excel也就是十几二十M，而且不会有很高的并发，并且内存也较大
         *  对并发要求较高，而且都是经常有超级大文件
         *  关于maxCacheActivateSize 也就是前面第二个参数的详细说明
         *  如何判断 maxCacheActivateSize是否需要调整

> 最近公司用到easyexcel，跟了下源码，简单了解的部分流程。做一下笔记，方便以后查询。

> 本人主要根据官方给的最简单的read demo的调试下了:

# 读的流程图 #

流程图大体如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70]

*  读的代码

ExcelReader excelReader = EasyExcel.read(fileName, DemoData.class, new DemoDataListener()).build();
           ReadSheet readSheet = EasyExcel.readSheet(0).build();
           excelReader.read(readSheet);
           // 这里千万别忘记关闭，读的时候会创建临时文件，到时磁盘会崩的
           excelReader.finish();

# 逻辑分析 #

## 1.EasyExcel ##

easyexcel就是一个门面他是一个空的类,主要干活的是他的父类:

public class EasyExcel extends EasyExcelFactory { 
    }

## 2.EasyExcelFactory ##

作用: ExcelWriterBuilder 构建出一个 ReadWorkbook WriteWorkbook，可以理解成一个excel对象，一个excel只要构建.

继续看这行代码: EasyExcel.read(fileName, DemoData.class, new DemoDataListener()).build();

进入read:

public static ExcelReaderBuilder read(String pathName, Class head, ReadListener readListener) { 
            ExcelReaderBuilder excelReaderBuilder = new ExcelReaderBuilder();
            excelReaderBuilder.file(pathName);
            if (head != null) { 
                excelReaderBuilder.head(head);
            }
            if (readListener != null) { 
                excelReaderBuilder.registerReadListener(readListener);
            }
            return excelReaderBuilder;
        }

主要干了以下几件事:

*  1.初始化了`ExcelReaderBuilder`这个对象:
 *  2将Demo.class对应的标题头信息放入`BasicParameter`这个类相关子中。
 *  3将Demo.controller对应的标题头信息放入`ReadBasicParameter`这个类中。

## ExcelReaderSheetBuilder ##

继续看这行代码:

> `ReadSheet readSheet = EasyExcel.readSheet(0).build();`

干了这件事:

> public static ExcelReaderSheetBuilder readSheet(Integer sheetNo) \{  
> return readSheet(sheetNo, null);  
> \}

ExcelWriterSheetBuilder 构建出一个 ReadSheet WriteSheet对象，可以理解成excel里面的一页,每一页都要构建一个.

## ExcelReader ##

这个类是整个个读的入口类:  
看这个代码

excelReader.read(readSheet);

源码调试:

public ExcelReader read(ReadSheet... readSheet) { 
            return read(Arrays.asList(readSheet));
        }

继续点击read方法

public ExcelReader read(List<ReadSheet> readSheetList) { 
            excelAnalyser.analysis(readSheetList, Boolean.FALSE);
            return this;
     }

最主要的是这个类:excelAnalyser  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 1]  
XlsxSaxAnalyser负责解析excel的每个格子的数据。  
DefaultAnalysisEventProcessor会获取解析到的数据，并各个readListener的子类比如我们自定义的demoDataListener的invoke方法，然后由各个listener对数据进行处理。  
进入analysis：

## ExcelAnalyserImpl ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 2]

点击进入:

## XlsxSaxAnalyser ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 3]  
看下解析每行数据的代码:  
会进入  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 4]  
然后进入parseXmlSource方法:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 5]

## DefaultAnalysisEventProcessor ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 6]

dealData()：

这个是调用自定义监听处理每行数据的invoke的入口:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 7]

## DemoDatalistener的invoke()方法被调用 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 8]

## 返回到XlsxSaxAnalyser ##

处理完每行之后  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 9]  
进入endSheet()方法:

## DefaultAnalysisEventProcessor的endSheet(） ##

![在这里插入图片描述][20200516142148471.png]  
for循环里面是调用自定义监听的lDemoDataistener的

## DemoDataistener的doAfterAllAnalysed() ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 10]

--------------------

自此，走完了所有的流程。

--------------------

# 备注：官方给的详细参数介绍 #

## 关于常见类解析 ##

*  EasyExcel 入口类，用于构建开始各种操作
 *  ExcelReaderBuilder ExcelWriterBuilder 构建出一个 ReadWorkbook WriteWorkbook，可以理解成一个excel对象，一个excel只要构建一个
 *  ExcelReaderSheetBuilder ExcelWriterSheetBuilder 构建出一个 ReadSheet WriteSheet对象，可以理解成excel里面的一页,每一页都要构建一个
 *  ReadListener 在每一行读取完毕后都会调用ReadListener来处理数据
 *  WriteHandler 在每一个操作包括创建单元格、创建表格等都会调用WriteHandler来处理数据
 *  所有配置都是继承的，Workbook的配置会被Sheet继承，所以在用EasyExcel设置参数的时候，在EasyExcel…sheet()方法之前作用域是整个sheet,之后针对单个sheet

## 读 ##

### 注解 ###

*  `ExcelProperty` 指定当前字段对应excel中的那一列。可以根据名字或者Index去匹配。当然也可以不写，默认第一个字段就是index=0，以此类推。千万注意，要么全部不写，要么全部用index，要么全部用名字去匹配。千万别三个混着用，除非你非常了解源代码中三个混着用怎么去排序的。
 *  `ExcelIgnore` 默认所有字段都会和excel去匹配，加了这个注解会忽略该字段
 *  `DateTimeFormat` 日期转换，用`String`去接收excel日期格式的数据会调用这个注解。里面的`value`参照`java.text.SimpleDateFormat`
 *  `NumberFormat` 数字转换，用`String`去接收excel数字格式的数据会调用这个注解。里面的`value`参照`java.text.DecimalFormat`
 *  `ExcelIgnoreUnannotated` 默认不加`ExcelProperty` 的注解的都会参与读写，加了不会参与

### 参数 ###

#### 通用参数 ####

`ReadWorkbook`,`ReadSheet` 都会有的参数，如果为空，默认使用上级。

*  `converter` 转换器，默认加载了很多转换器。也可以自定义。
 *  `readListener` 监听器，在读取数据的过程中会不断的调用监听器。
 *  `headRowNumber` 需要读的表格有几行头数据。默认有一行头，也就是认为第二行开始起为数据。
 *  `head` 与`clazz`二选一。读取文件头对应的列表，会根据列表匹配数据，建议使用class。
 *  `clazz` 与`head`二选一。读取文件的头对应的class，也可以使用注解。如果两个都不指定，则会读取全部数据。
 *  `autoTrim` 字符串、表头等数据自动trim
 *  `password` 读的时候是否需要使用密码

#### ReadWorkbook（理解成excel对象）参数 ####

*  `excelType` 当前excel的类型 默认会自动判断
 *  `inputStream` 与`file`二选一。读取文件的流，如果接收到的是流就只用，不用流建议使用`file`参数。因为使用了`inputStream` easyexcel会帮忙创建临时文件，最终还是`file`
 *  `file` 与`inputStream`二选一。读取文件的文件。
 *  `autoCloseStream` 自动关闭流。
 *  `readCache` 默认小于5M用 内存，超过5M会使用 `EhCache`,这里不建议使用这个参数。

#### ReadSheet（就是excel的一个Sheet）参数 ####

*  `sheetNo` 需要读取Sheet的编码，建议使用这个来指定读取哪个Sheet
 *  `sheetName` 根据名字去匹配Sheet,excel 2003不支持根据名字去匹配

## 写 ##

### 注解 ###

*  `ExcelProperty` index 指定写到第几列，默认根据成员变量排序。`value`指定写入的名称，默认成员变量的名字，多个`value`可以参照快速开始中的复杂头
 *  `ExcelIgnore` 默认所有字段都会写入excel，这个注解会忽略这个字段
 *  `DateTimeFormat` 日期转换，将`Date`写到excel会调用这个注解。里面的`value`参照`java.text.SimpleDateFormat`
 *  `NumberFormat` 数字转换，用`Number`写excel会调用这个注解。里面的`value`参照`java.text.DecimalFormat`
 *  `ExcelIgnoreUnannotated` 默认不加`ExcelProperty` 的注解的都会参与读写，加了不会参与

### 参数 ###

#### 通用参数 ####

`WriteWorkbook`,`WriteSheet` ,`WriteTable`都会有的参数，如果为空，默认使用上级。

*  `converter` 转换器，默认加载了很多转换器。也可以自定义。
 *  `writeHandler` 写的处理器。可以实现`WorkbookWriteHandler`,`SheetWriteHandler`,`RowWriteHandler`,`CellWriteHandler`，在写入excel的不同阶段会调用
 *  `relativeHeadRowIndex` 距离多少行后开始。也就是开头空几行
 *  `needHead` 是否导出头
 *  `head` 与`clazz`二选一。写入文件的头列表，建议使用class。
 *  `clazz` 与`head`二选一。写入文件的头对应的class，也可以使用注解。
 *  `autoTrim` 字符串、表头等数据自动trim

#### WriteWorkbook（理解成excel对象）参数 ####

*  `excelType` 当前excel的类型 默认`xlsx`
 *  `outputStream` 与`file`二选一。写入文件的流
 *  `file` 与`outputStream`二选一。写入的文件
 *  `templateInputStream` 模板的文件流
 *  `templateFile` 模板文件
 *  `autoCloseStream` 自动关闭流。
 *  `password` 写的时候是否需要使用密码
 *  `useDefaultStyle` 写的时候是否是使用默认头

#### WriteSheet（就是excel的一个Sheet）参数 ####

*  `sheetNo` 需要写入的编码。默认0
 *  `sheetName` 需要些的Sheet名称，默认同`sheetNo`

#### WriteTable（就把excel的一个Sheet,一块区域看一个table）参数 ####

*  `tableNo` 需要写入的编码。默认0

# 10M以上文件读取说明 #

03版没有办法处理，相对内存占用大很多。excel 07版本有个共享字符串[共享字符串][Link 1]的概念，这个会非常占用内存，如果全部读取到内存的话，大概是excel文件的大小的3-10倍，所以easyexcel用存储文件的，然后再反序列化去读取的策略来节约内存。当然需要通过文件反序列化以后，效率会降低，大概降低30-50%（不一定，也看命中率，可能会超过100%）

## 如果对读取效率感觉还能接受，就用默认的，永久占用（单个excel读取整个过程）一般不会超过50M(大概率就30M)，剩下临时的GC会很快回收 ##

## 默认大文件处理 ##

默认大文件处理会自动判断，共享字符串5M以下会使用内存存储，大概占用15-50M的内存,超过5M则使用文件存储，然后文件存储也要设置多内存M用来存放临时的共享字符串，默认20M。除了共享字符串占用内存外，其他占用较少，所以可以预估10M，所以默认大概30M就能读取一个超级大的文件。

## 根据实际需求配置内存 ##

想自定义设置，首先要确定你大概愿意花多少内存来读取一个超级大的excel,比如希望读取excel最多占用100M内存（是读取过程中永久占用，新生代马上回收的不算），那就设置使用文件来存储共享字符串的大小判断为20M(小于20M存内存，大于存临时文件)，然后设置文件存储时临时共享字符串占用内存大小90M差不多

### 如果最大文件条数也就十几二十万，然后excel也就是十几二十M，而且不会有很高的并发，并且内存也较大 ###

// 强制使用内存存储，这样大概一个20M的excel使用150M（很多临时对象，所以100M会一直GC）的内存
    // 这样效率会比上面的复杂的策略高很多
       // 这里再说明下 就是加了个readCache(new MapCache()) 参数而已，其他的参照其他demo写 这里没有写全 
      EasyExcel.read().readCache(new MapCache());

### 对并发要求较高，而且都是经常有超级大文件 ###

// 第一个参数的意思是 多少M共享字符串以后 采用文件存储 单位MB 默认5M
    // 第二个参数 文件存储时，内存存放多少M缓存数据 默认20M
    // 比如 你希望用100M内存(这里说的是解析过程中的永久占用,临时对象不算)来解析excel，前面算过了 大概是 20M+90M 所以设置参数为:20 和 90 
       // 这里再说明下 就是加了个readCacheSelector(new SimpleReadCacheSelector(5, 20))参数而已，其他的参照其他demo写 这里没有写全 
    EasyExcel.read().readCacheSelector(new SimpleReadCacheSelector(5, 20));

### 关于maxCacheActivateSize 也就是前面第二个参数的详细说明 ###

easyexcel在使用文件存储的时候，会把共享字符串拆分成1000条一批，然后放到文件存储。然后excel来读取共享字符串大概率是按照顺序的，所以默认20M的1000条的数据放在内存，命中后直接返回，没命中去读文件。所以不能设置太小，太小了，很难命中，一直去读取文件，太大了的话会占用过多的内存。

### 如何判断 maxCacheActivateSize是否需要调整 ###

开启debug日志会输出`Already put :4000000` 最后一次输出，大概可以得出值为400W,然后看`Cache misses count:4001`得到值为4K，400W/4K=1000 这代表已经`maxCacheActivateSize` 已经非常合理了。如果小于500 问题就非常大了，500到1000 应该都还行。

--------------------

个人微信公众号：  
搜索： 怒放de每一天  
不定时推送相关文章，期待和大家一起成长！！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 11]

--------------------

完

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70]: /images/20230312/4a65dc341fc14f24a0d33724a9b4208a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 1]: /images/20230312/5b34afedafbc4097bd766d99e44dc1c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 2]: /images/20230312/4cb5c1ecc8bc400fb4ee4676a617f889.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 3]: /images/20230312/c29afbc2a8bd4ff783c7203d9c26e799.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 4]: /images/20230312/3550d56952c6431ba914a31b008f4d5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 5]: /images/20230312/2f9aad5aeedf457680ec57aaddf9d21d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 6]: /images/20230312/d595cb0138ce4c84b3301a84c1cc5503.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 7]: /images/20230312/4644821ce80b4ddc82f4c8d8aea21f64.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 8]: /images/20230312/bccfbfb45654472e81f6cdef03534508.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 9]: /images/20230312/81a5ac686fea463aafe64be0692e951f.png
[20200516142148471.png]: /images/20230312/0243ecce1d894856b47c64a0c16c4dc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 10]: /images/20230312/629b9b1100b54ce3b391c23b0bbf3fd4.png
[Link 1]: https://docs.microsoft.com/zh-cn/office/open-xml/working-with-the-shared-string-table
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzIxMzQ5NjM1_size_16_color_FFFFFF_t_70 11]: /images/20230312/ba9bf605c5b04af0afba01bd133427e4.png