解决java poi海量数据导出内存溢出问题

悠悠 2022-05-16 12:42 439阅读 0赞

*摘要：* 解决java poi海量数据导出导致内存溢出的问题

找了很多天的解决方法，一直被分页查询绕进去了，其实数据都能查出来的，真正卡的地方是ExcelExportUtil类下调错了方法。

最开始调用的方法是（标记的地方）： workbook = new HSSFWorkbook();和 workbook = new XSSFWorkbook();

这两个方法就是导出Excel的最关键的方法，接下来我来说说这两个方法作用：

1.HSSFWorkbook:是操作Excel2003以前（包括2003）的版本，扩展名是.xls；

2.XSSFWorkbook:是操作Excel2007的版本，扩展名是.xlsx；

对于不同版本的EXCEL文档要使用不同的工具类，如果使用错了，会提示如下错误信息。

org.apache.poi.openxml4j.exceptions.InvalidOperationException

org.apache.poi.poifs.filesystem.OfficeXmlFileException

当数据量超出65536条后，在使用HSSFWorkbook或XSSFWorkbook，程序会报OutOfMemoryError：[Java][]heap space;内存溢出错误。

而我们的数据量达到了9W条数据，用这两个方法肯定是报内存溢出的错误的。

最终我找到的解决方法是：从POI 3.8版本开始，提供了一种基于XSSF的低内存占用的API----SXSSFWorkbook。

3.SXSSFWorkbook-来至官方的解释：实现“BigGridDemo”策略的流式XSSFWorkbook版本。这允许写入非常大的文件而不会耗尽内存，因为任何时候只有可配置的行部分被保存在内存中。您可以提供用作书面数据基础的模板工作簿。有关详细信息，请参见https://poi.apache.org/spreadsheet/how-to.html\#sxssf。请注意，仍然可能会消耗大量内存，这些内存基于您正在使用的功能，例如合并区域，注释......仍然只存储在内存中，因此如果广泛使用，可能需要大量内存。SXSSFWorkbook默认使用内联字符串而不是共享字符串表。这非常有效，因为没有文档内容需要保存在内存中，但也被称为制作与某些客户不兼容的文档。在启用共享字符串的情况下，文档中的所有唯一字符串必须保存在内存中。根据您的文档内容，这可能比共享字符串被禁用时使用更多的资源。在决定是否启用共享字符串之前，请仔细检查您的内存预算和兼容性需求。

而在poi架包中提供的方法用的是：

当数据量超过1000条时就会调用SXSSFWorkbook方法，从而解决了海量的数据导出会发生内存溢出的问题。

**\[java\]** [view plain][] [copy][view plain]

1.  public void exportContacts(final PortalUserPage page, final HttpServletRequest request,
2.  final HttpServletResponse response) throws Exception \{
3.  
4.  final String name = "通讯录列表";
5.  
6.  // 去掉分页
7.  page.setPage(1);
8.  page.setRows(Integer.MAX\_VALUE);
9.  final List<CmssPortalUser> dataList = (List<CmssPortalUser>) this.queryPortalUserListWithGroup(page);
10. final List<PortalUserExcelDto> userList = new ArrayList<>();
11. for (final CmssPortalUser user : dataList) \{
12. final PortalUserExcelDto userDto = new PortalUserExcelDto();
13. userDto.setIndex(user.getIndex() != null ? user.getIndex().toString() : "0");
14. userDto.setRealName(user.getRealName());
15. userDto.setCompany(user.getCompany());
16. userDto.setCompanyBranch(user.getCompanyBranch());
17. userDto.setDepartment(user.getDepartment());
18. userDto.setTitle(user.getTitle());
19. userDto.setPhone(user.getPhone());
20. userDto.setLoginName(user.getLoginName());
21. userDto.setProducts(user.getProducts());
22. userDto.setEmail(user.getEmail());
23. userDto.setGroup(user.getGroup());
24. if (user.getOpenTime() != null) \{
25. // 开通时间日期格式化
26. final SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
27. userDto.setOpenTime(format.format(user.getOpenTime()));
28. \}
29. // 判断全局预览
30. // 根据创建者ID查询该用户是否可以浏览全局
31. user.setIfGlobelView(shareJedis.ifGlobelView(user.getId().longValue()) ? 1 : 0);
32. if (user.getIfGlobelView() != null) \{
33. if (user.getIfGlobelView() == Constants.CURRENCY.ZERO) \{
34. userDto.setIfGlobelView("否");
35. \}
36. if (user.getIfGlobelView() == Constants.CURRENCY.ONE) \{
37. userDto.setIfGlobelView("是");
38. \}
39. \}
40. // 判断状态
41. if (StringUtils.isNotBlank(user.getStatus())) \{
42. if (Constants.CONTACTS\_STATUS.UNAVAILABILITY.equals(user.getStatus())) \{
43. userDto.setStatus("停用");
44. \}
45. if (Constants.CONTACTS\_STATUS.AVAILABILITY.equals(user.getStatus())) \{
46. userDto.setStatus("启用");
47. \}
48. \}
49. // VIP类别
50. userDto.setVipCategory(user.getVipCategoryName() != null ? user.getVipCategoryName() : null);
51. // Vip级别
52. userDto.setVipLevel(user.getVipLevelName() != null ? user.getVipLevelName() : null);
53. // 判断短信通知
54. if (user.getIsSendSms() != null) \{
55. if (Constants.UNIVERSAL\_CONSTANT.ZERO.equals(user.getIsSendSms())) \{
56. userDto.setIsSendSms("否");
57. \}
58. if (Constants.UNIVERSAL\_CONSTANT.ONE.equals(user.getIsSendSms())) \{
59. userDto.setIsSendSms("是");
60. \}
61. \}
62. userList.add(userDto);
63. \}
64. 
65. final ExportParams params = new ExportParams(name, name, ExcelType.XSSF);
66. final Workbook workbook = ExcelExportUtil.exportExcel(params, PortalUserExcelDto.class, userList);
67. 
68. try \{
69. final String agent = request.getHeader("User-Agent").toLowerCase();
70. // 开始下载文件
71. final SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd");
72. String filename = format.format(new Date().getTime()) + "-" + name + ".xlsx";
73. if (!StringUtils.isEmpty(agent) && agent.contains("msie") || agent.contains("like gecko")
74. || (agent.indexOf("rv") > 0 && agent.indexOf("firefox") == -1)) \{
75. filename = URLEncoder.encode(filename, "UTF-8");
76. \} else \{
77. filename = new String(filename.getBytes("UTF-8"), "ISO8859-1");
78. \}
79. response.setContentType("application/octet-stream");
80. 
81. response.setHeader("Content-Disposition", "attachment;filename=".concat(filename));
82. 
83. final OutputStream out = response.getOutputStream();
84. workbook.write(out);
85. out.flush();
86. out.close();
87. \} catch (final Exception e) \{
88. e.printStackTrace();
89. log.error(e.getMessage());
90. \}
91. \}

这部分代码是我所写的批量导出海量数据的部分代码，希望可以帮助和我遇到一样错误的人。

[Java]: http://lib.csdn.net/base/java
[view plain]: https://blog.csdn.net/yiwangjiushixingfu/article/details/80258148#
[yqgroup_service.aliyun.com]: mailto:yqgroup@service.aliyun.com