Tornado HTTP服务器的基本流程Tornado 底层I/O的内部实现

本是古典何须时尚 2022-05-31 07:59 120阅读 0赞

本小节介绍[Tornado][] HTTP服务器的基本流程，分别分析httpserver, ioloop, iostream模块的代码来剖析Tornado底层I/O的内部实现。

httpserver.py中给出了一个简单的http服务器的demo，代码如下所示：

该http服务器主要使用到IOLoop, IOStream, HTTPServer, HTTPConnection几大模块，分别在代码ioloop.py, iostream.py, httpserver.py中实现。工作的流程如下图所示：

![2013_12_11_01.png][]

服务器的工作流程：首先按照socket->bind->listen顺序创建listen socket监听客户端，并将每个listen socket的fd注册到IOLoop的单例实例中；当listen socket可读时回调\_handle\_events处理客户端请求；在与客户端通信的过程中使用IOStream封装了读、写缓冲区，实现与客户端的异步读写。

#### HTTPServer分析 ####

[HTTPServer][]在httpserver.py中实现，继承自TCPServer（netutil.py中实现），是一个无阻塞、单线程HTTP服务器。支持HTTP/1.1协议keep-alive连接，但不支持chunked encoding。服务器支持'X-Real-IP'和'X-Scheme'头以及SSL传输，支持多进程为prefork模式实现。在源代码的注释中对以上描述比较详细的说明，这里就不再细说。

HTTPServer和TCPServer的类结构：

<table style="border-spacing:0px;margin:0px;padding:0px;border:0px;font-size:12px;vertical-align:baseline;background:none;width:auto;float:none;height:auto;line-height:1.1em;min-height:auto;"> 
 <tbody style="margin:0px;padding:0px;vertical-align:baseline;background:none;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;"> 
  <tr style="margin:0px;padding:0px;border-top:0px;vertical-align:baseline;background:none;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;"> 
   <td style="margin:0px;padding:0px;border-width:0px;font-size:12px;vertical-align:top;background:none;float:none;height:auto;width:3em;line-height:1.1em;font-family:'Courier New', Courier, monospace;min-height:auto;color:rgb(175,175,175);"><code style="letter-spacing:0px;margin:0px;padding:0px .3em 0px 0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;text-align:right;float:none;height:auto;width:2.7em;line-height:1.1em;min-height:auto;">2</code></td> 
   <td style="margin:0px;padding:0px 0px 0px .5em;border-width:0px 0px 0px 3px;border-left-color:rgb(108,226,108);font-size:12px;vertical-align:top;background:none;float:none;height:auto;width:auto;line-height:1.1em;font-family:'Courier New', Courier, monospace;min-height:auto;color:rgb(0,0,0);"><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;">&nbsp;&nbsp;&nbsp;&nbsp;</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">def</code>&nbsp;<code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">__init__(</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(128,128,128);">self</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">, request_callback, no_keep_alive</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">=</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(128,128,128);">False</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">, io_loop</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">=</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(128,128,128);">None</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">, xheaders</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">=</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(128,128,128);">False</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">, ssl_options</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">=</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(128,128,128);">None</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">,&nbsp;</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">*</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">*</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">kwargs):</code></td> 
  </tr> 
 </tbody> 
</table>

<table style="border-spacing:0px;margin:0px;padding:0px;border:0px;font-size:12px;vertical-align:baseline;background:none;width:auto;float:none;height:auto;line-height:1.1em;min-height:auto;"> 
 <tbody style="margin:0px;padding:0px;vertical-align:baseline;background:none;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;"> 
  <tr style="margin:0px;padding:0px;border-top:0px;vertical-align:baseline;background:none;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;"> 
   <td style="margin:0px;padding:0px;border-width:0px;font-size:12px;vertical-align:top;background:none;float:none;height:auto;width:3em;line-height:1.1em;font-family:'Courier New', Courier, monospace;min-height:auto;color:rgb(175,175,175);"><code style="letter-spacing:0px;margin:0px;padding:0px .3em 0px 0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;text-align:right;float:none;height:auto;width:2.7em;line-height:1.1em;min-height:auto;">5</code></td> 
   <td style="margin:0px;padding:0px 0px 0px .5em;border-width:0px 0px 0px 3px;border-left-color:rgb(108,226,108);font-size:12px;vertical-align:top;background:none;float:none;height:auto;width:auto;line-height:1.1em;font-family:'Courier New', Courier, monospace;min-height:auto;color:rgb(0,0,0);"><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;">&nbsp;&nbsp;&nbsp;&nbsp;</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">def</code>&nbsp;<code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">bind(</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(128,128,128);">self</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">, port, address</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">=</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(128,128,128);">None</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">, family</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">=</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">socket.AF_UNSPEC, backlog</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;font-weight:bold;min-height:auto;color:rgb(0,102,153);">=</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,153,0);">128</code><code style="letter-spacing:0px;margin:0px;padding:0px;border:0px;vertical-align:baseline;background:none;font-family:'Courier New', Courier, monospace;float:none;height:auto;width:auto;line-height:1.1em;min-height:auto;color:rgb(0,0,0);">):</code></td> 
  </tr> 
 </tbody> 
</table>

文章开始部分创建HTTPServer的过程：首先需要定义处理request的回调函数，在tornado中通常使用tornado.web.Application封装。然后构造HTTPServer实例，注册回调函数。接下来监听端口，启动服务器。最后启动IOLoop。

这里分析HTTPServer通过listen函数启动监听，这种方法是单进程模式。另外可以通过先后调用bind和start(num\_processes=1)函数启动监听同时创建多进程服务器实例，后文有关于此的详细描述。

bind\_sockets在启动监听端口过程中调用，getaddrinfo返回服务器的所有网卡信息, 每块网卡上都要创建监听客户端的请求并返回创建的sockets。创建socket过程中绑定地址和端口，同时设置了fcntl.FD\_CLOEXEC（创建子进程时关闭打开的socket）和socket.SO\_REUSEADDR（保证某一socket关闭后立即释放端口，实现端口复用）标志位。sock.listen(backlog=128)默认设定等待被处理的连接最大个数为128。

返回的每一个socket都加入到IOLoop中同时添加回调函数\_handle\_connection，IOLoop添加对相应socket的IOLoop.READ事件监听。\_handle\_connection在接受客户端的连接处理结束之后会被调用，调用时传入连接和ioloop对象初始化IOStream对象，用于对客户端的异步读写；然后调用handle\_stream，传入创建的IOStream对象初始化一个HTTPConnection对象，HTTPConnection封装了IOStream的一些操作，用于处理HTTPRequest并返回。至此HTTP Server的创建、启动、注册回调函数的过程分析结束。

#### HTTPConnection分析 ####

该类用于处理http请求。在HTTPConnection初始化时对self.request\_callback赋值为一个可调用的对象（该对象用于对http请求的具体处理和应答）。该类首先读取http请求中header的结束符b("\\r\\n\\r\\n")，然后回调self.\_on\_headers函数。request\_callback的相关实现在以后的系列中有详细介绍。

#### 多进程HTTPServer ####

Tornado的HTTPServer是单进程单线程模式，同时提供了创建多进程服务器的接口，具体实现是在主进程启动HTTPServer时通过process.fork\_processes(num\_processes)产生新的服务器子进程，所有进程之间共享端口。fork\_process的方法在process.py中实现，十分简洁。对fork\_process详细的分析，可以参考 [番外篇：Tornado的多进程管理分析][Tornado 1]。

FriendFeed使用nginx提供负载均衡、反向代理服务并作为静态文件服务器，在后端服务器上可以部署多个Tornado实例。一般可以通过Supervisor控制Tornado app，然后再通过nginx对Tornado的输出进行反向代理。 具体可以参考下这篇文章： [Supervisord进程管理工具的安装使用][Supervisord]。

[Tornado]: http://www.nowamagic.net/academy/tag/Tornado
[2013_12_11_01.png]: http://www.nowamagic.net/librarys/images/201312/2013_12_11_01.png
[HTTPServer]: http://www.nowamagic.net/academy/tag/HTTPServer
[Tornado 1]: http://www.nowamagic.net/academy/detail/13321081
[Supervisord]: http://www.nowamagic.net/academy/detail/1332312