java.io.IOException: Too many open files

╰半夏微凉° 2022-05-31 02:05 274阅读 0赞

今天开发一个AOP接口需求协议，在Linux上启动tomcat应用的时候，日志打印出如下错误：

  1. java.lang.IllegalStateException: failed to create a child event loop
  2.     at io.netty.util.concurrent.MultithreadEventExecutorGroup.<init>(MultithreadEventExecutorGroup.java:68)
  3.     at io.netty.channel.MultithreadEventLoopGroup.<init>(MultithreadEventLoopGroup.java:49)
  4.     at io.netty.channel.nio.NioEventLoopGroup.<init>(NioEventLoopGroup.java:61)
  5.     at io.netty.channel.nio.NioEventLoopGroup.<init>(NioEventLoopGroup.java:52)
  6.     at io.netty.channel.nio.NioEventLoopGroup.<init>(NioEventLoopGroup.java:44)
  7.     at com.hollycrm.hollyuniproxy.server.socket.nio.NettyServer.<init>(NettyServer.java:28)
  8.     at com.hollycrm.hollyuniproxy.server.http.SocketServerConfigListener.contextInitialized(SocketServerConfigListener.java:44)
  9.     at org.apache.catalina.core.StandardContext.listenerStart(StandardContext.java:5003)
  10.     at org.apache.catalina.core.StandardContext.startInternal(StandardContext.java:5517)
  11.     at org.apache.catalina.util.LifecycleBase.start(LifecycleBase.java:150)
  12.     at org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:901)
  13.     at org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:877)
  14.     at org.apache.catalina.core.StandardHost.addChild(StandardHost.java:652)
  15.     at org.apache.catalina.startup.HostConfig.deployDirectory(HostConfig.java:1263)
  16.     at org.apache.catalina.startup.HostConfig$DeployDirectory.run(HostConfig.java:1978)
  17.     at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
  18.     at java.util.concurrent.FutureTask.run(FutureTask.java:262)
  19.     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
  20.     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
  21.     at java.lang.Thread.run(Thread.java:745)
  22. Caused by: io.netty.channel.ChannelException: failed to open a new selector
  23.     at io.netty.channel.nio.NioEventLoop.openSelector(NioEventLoop.java:128)
  24.     at io.netty.channel.nio.NioEventLoop.<init>(NioEventLoop.java:120)
  25.     at io.netty.channel.nio.NioEventLoopGroup.newChild(NioEventLoopGroup.java:87)
  26.     at io.netty.util.concurrent.MultithreadEventExecutorGroup.<init>(MultithreadEventExecutorGroup.java:64)
  27.     ... 19 more
  28. Caused by: java.io.IOException: 打开的文件过多
  29.     at sun.nio.ch.IOUtil.makePipe(Native Method)
  30.     at sun.nio.ch.EPollSelectorImpl.<init>(EPollSelectorImpl.java:65)
  31.     at sun.nio.ch.EPollSelectorProvider.openSelector(EPollSelectorProvider.java:36)
  32.     at io.netty.channel.nio.NioEventLoop.openSelector(NioEventLoop.java:126)
  33.     ... 22 more

查了一些资料，经分析发现原因如下：

原因：

打开的文件过多，一般来说是由于应用程序对资源使用不当造成的，比如没有及时关闭socket或数据库连接等。但也可能应用确实需要打开比较多的文件句柄，而系统本身的设置限制了这一数量。

操作系统中打开文件的最大句柄数会受到系统设置的限制，常常发生在很多个并发用户访问服务器的时候。因为执行每个用户的应用服务器都要加载很多文件（new一个socket就需要一个文件句柄），这就会导致打开文件的句柄缺乏。

解决办法：

尽量把类打成jar包，因为一个jar包只消耗一个文件句柄。如果不打包，一个类就要消耗一个文件句柄。java的垃圾回收不能关闭网络连接打开的文件句柄。如果没有执行close()（例如：java.net.Socket.close()）则文件句柄将一直存在，而不能被关闭。你也可以考虑设置socket的最大打开数来控制这个问题。对操作系统做相关的设置，增加最大文件句柄数量。

服务器端修改：

1、查看系统允许打开的最大文件数

  1. #cat /proc/sys/fs/file-max

2、查看每个用户允许打开的最大文件数
ulimit -a

3、发现系统默认的是open files (-n) 1024，问题就出现在这里。在系统文件/etc/security/limits.conf中修改这个数量限制，在文件中加入内容（该项操作需要管理员权限）：

  1. * soft nofile 65536
  2. * hard nofile 65536

另外方法：

1.使用ps -ef |grep java (java代表你程序，查看你程序进程) 查看你的进程ID，记录ID号，假设进程ID为12

2.使用：lsof -p 12 | wc -l 查看当前进程id为12的 文件操作状况
执行该命令出现文件使用情况为 1052

3.使用命令：ulimit -a 查看每个用户允许打开的最大文件数（针对当前session有效，用户退出或者系统重新后恢复默认值）

4.然后执行：ulimit -n 4096
将open files (-n) 1024 设置成open files (-n) 4096

这样就增大了用户允许打开的最大文件数。问题得以解决。

在这次问题排查中，涉及到的有关查询文件句柄以及网络连接数的Linux命令总结如下：

  1. // 查看服务器的各种信息  
  2. # free -m  
  3.              total       used       free     shared    buffers     cached  
  4. Mem:         15901      15742        158          0        127      12784  
  5. -/+ buffers/cache:       2830      13070  
  6. Swap:         8015          2       8013  
  8. // 查看打开的文件数  
  9. # lsof -n | wc -l  
  10. 70091  
  12. // 查看网络相关的文件句柄数
  13. # lsof -n -i | wc -l  
  14. 62548  
  16. // 查看网络连接数  
  17. # netstat -ant | wc -l  
  18. 63777  
  20. // 查看端口为54104的连接数
  21. # netstat -ant | grep ":54104" | wc -l  
  22. 61101  
  24. // 查看端口为54104的各种状态的连接数  
  25. # netstat -ant | grep ":54104" | awk '{print $6}' | sort | uniq -c  | sort -nr   
  26.   54166 CLOSE_WAIT  
  27.    6920 ESTABLISHED  
  28.      10 SYN_RECV  
  29.       1 LISTEN  
  31. // 所有网络连接数，按状态排序  
  32. # netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print S[a],a}' | sort -nr   
  33. 54184 CLOSE_WAIT  
  34. 8239 ESTABLISHED  
  35. 926 FIN_WAIT2  
  36. 207 FIN_WAIT1  
  37. 64 TIME_WAIT  
  38. 46 LAST_ACK  
  39. 31 SYN_RECV  
  40. 1 CLOSING  
  42. // 所有打开文件数，按进程PID排序  
  43. # lsof -n | awk '{print $2}' | sort -n | uniq -c | sort -nr | more  
  44.   65605 18374  
  45.     741 1348  
  46.     313 1349  
  47.     236 1350  
  48.     149 18407

发表评论

表情：
评论列表 （有 0 条评论，274人围观）

还没有评论，来说两句吧...

相关阅读