python socket select 错误 Filedescriptor out of range in select 解决方法

小鱼儿 2021-09-07 06:10 226阅读 0赞

**目录**

寻找原因

解释现象

解决方法

--------------------

今天晚上，有同学给我报了一个内部网络协议包 `stpclient` 的 bug，如下：

File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 146, in service
      stp_response = self._client.call(stp_request.argv)
    File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 51, in call
      self.send_request(request)
    File "/data/apps/column-web/eggs/stpclient2-0.0.15-py2.7.egg/stpclient2/client.py", line 221, in send_request
      self._timeout)
    ValueError: filedescriptor out of range in select()

这个异常已经发生过好几次了，所以我决定弄清楚原因。

### 寻找原因 ###

首先，坊间流传的版本是，当 `select` 中监听的 `fd` 个数超过 1024 的时候，就会出现这个异常，我分析了一下，这个异常是 stp 的客户端抛出的，因为这个版本的客户端是我写的，所以我清楚的知道，不可能有超过1024个fd，同时被 `select`，那么问题就来了，到底是因为啥呢？

这个时候，能想到的问题就是，肯定就是坊间的版本有问题，于是首先我看了一下，select 系统调用中的说明，如下：

> An fd\_set is a fixed size buffer. Executing FD\_CLR() or FD\_SET() with a value of fd that is negative or is equal to or larger than FD\_SETSIZE will result in undefined behavior. Moreover, POSIX requires fd to be a valid file descriptor.

select 的 notes 中写到：

> fd\_set 是一个固定大小的 buffer，当设置的 fd 为负或者是超过 FD\_SETSIZE 的时候，就会产生 undefined behavior，POSIX 要求 fd 是一个合法的 fd

从这面来看，和坊间的传闻是有差别的，并不是同时监听的 fd 超过 FD\_SETSIZE 就会有问题，而是 fd 大小超过 FD\_SETSIZE 就会有问题，FD\_SETSIZE 是定义在 select.h 中的，大小为1024(出问题的机器上)，所以应该是 fd 大小超过 1024 就会有问题.

> /usr/include/linux/posix\_types.h

#undef __FD_SETSIZE
    #define __FD_SETSIZE 1024

但是，到这里，并没有知道我们看到的那行异常是怎么抛出来的

> ValueError: filedescriptor out of range in select()

明显，这是 python 抛出来的异常，系统调用只是说会产生 undefined behavior 而已。

这个时候，顺着 python 的 `socket` 模块，找到了 `select` 模块 的 python 源代码，我们发现了如下几行：

> Modules/selectmodule.c

#if defined(_MSC_VER)
        max = 0; /* not used for Win32 */
    #else /* !_MSC_VER */
        if (!_PyIsSelectable_fd(v)) {
            PyErr_SetString(PyExc_ValueError,
                "filedescriptor out of range in select()");
            goto finally;
        }
        if (v >= max)
            max = v;
    #endif /* _MSC_VER */

然后我们发现，当调用 `_PyIsSelectable_fd` 返回 false 的时候，会产生我们上面的那个异常，接下来我们看一下 `_PyIsSelectable_fd` 的实现:

> Include/fileobject.h

#ifdef HAVE_SELECT
        #define _PyIsSelectable_fd(FD) (((FD) >= 0) && ((FD) < FD_SETSIZE))
    #else
        #define _PyIsSelectable_fd(FD) (1)
    #endif /* HAVE_SELECT */

因为 POSIX 里面仅仅规定了 select 系统调用传入的 fd 需要合法，那就需要调用方检测 fd，所以在 python 里面，当 fd 为负，或者是超过 FD\_SERSIZE 就会被当做不合法，抛出 `ValueError`

那么现在问题明确了，肯定是**因为执行 select 调用的时候，传入了大于 1024 或者是小于 0 的fd，导致了上面异常的出现**，接下来的问题就是需要找到为啥会出现大于1024的 fd 了

### 解释现象 ###

通过基础架构的同学了解到，我们对于进程最大能开启的进程数做了调整，supervisor 里面每个进程最大能开启的 fd 个数是 655360，所以完全有可能出现 fd 超出 1024 的情况.  
这个异常是出现在 web 机器上，因为一部分 zone 的服务使用了短链接，所以会导致单进程拥有的 fd 个数很高，超过 1024.

至此，这个问题算是得到了一个合理的解释，**因为大量使用短链接，所以导致单进程的 fd 个数升高，超出了 1024 限制，出现了最开始的异常**

### 解决方法 ###

*  因为这个值是定义在内核里面，所以如果在维持目前方案不变的前提下，解决这个问题就需要重新编译 Linux-kernel，将这个值提高
 *  修改 stpclient 的客户端，使用epoll，代替比较老旧的 select，当时使用 select 的原因是，fd 个数很少，性能上没有问题，同时 select 在其他平台上也可以得到支持