Nginx系列教程（13） - TCP反向代理实现

Dear 丶 2022-12-21 04:51 990阅读 0赞

Nginx在1.9.0的时候，增加了一个 stream 模块，用来实现四层协议（网络层和传输层）的转发、代理、负载均衡等。stream模块的用法跟http的用法类似，允许我们配置一组TCP或者UDP等协议的监听，然后通过proxy\_pass来转发我们的请求，通过upstream添加多个后端服务，实现负载均衡，下面我们从基础网络模型讲起：

## **1.网络模型** ##

在前面的章节中，我们知道，网络的七层协议是这样的，详细的内容可以参考文章：[《网络七层协议，四层协议，五层协议？》][Link 1]：

<table> 
 <thead> 
 <tr> 
 <th style="vertical-align:middle;">OSI中的层</th> 
 <th style="vertical-align:middle;">功能</th> 
 <th style="vertical-align:middle;">TCP/IP协议族</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">应用层</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">文件传输、电子邮件、文件服务、虚拟终端</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">TFTP、HTTP、SNMP、FTP、SMTP、DNS、RIP、Telnet</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">表示层</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">数据格式化、代码转换、数据加密</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">没有协议</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">会话层</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">接触或建立与别的节点联系</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">没有协议</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">传输层</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">提供端对端的接口</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">TCP、UDP</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">网络层</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">为数据包选择路由</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">IP、ICMP、OSPF、BGP、IGMP、ARP、RARP</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">数据链路层</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">传输有地址的帧以及错误检测功能</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">SLIP、CSLIP、PPP、MTU、ARP、RARP</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">物理层</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">以二进制数据形式在物理媒体上传输数据</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">ISO2110、IEEE802、IEEE802.2</td> 
 </tr> 
 </tbody> 
</table>

说到网络协议，很容易就会抛出一个问题，这些网络服务通过什么机制去实现的？

答：Socket

> 1.  Socket就是为网络服务提供的一种机制。
> 2.  通讯的两端都有Sokcet
> 3.  网络通讯其实就是Sokcet间的通讯
> 4.  数据在两个Sokcet间通过IO传输。

既然端对端的网络通讯是通过Socket IO传输的，那么它们是通过什么传输的呢？没错就是通过TCP或者UDP传输的：

UDP:

> 1.  是面向无连接, 将数据及源的封装成数据包中,不需要建立连接。
> 2.  每个数据报的大小在限制64k内。
> 3.  因无连接,是不可靠协议。
> 4.  不需要建立连接,速度快。

TCP：

> 1.  建议连接，形成传输数据的通道。
> 2.  在连接中进行大数据量传输，以字节流方式。
> 3.  通过三次握手完成连接,是可靠协议。
> 4.  必须建立连接效率会稍低。

从网络的七层协议中，可以看到TCP和UDP使用用于传输层的，而HTTP是用于应用层的。可以看出HTTP协议是基于TCP协议封装成超文本传输协议，HTTP分为请求和响应，HTTP协议分为请求参数和方法类型、请求头、请求体，响应分为 响应状态、响应头、响应体等。（HTTP我们常用到，此处就不再详细讲解了）。

--------------------

到这里，要回归到本文的主题了，本文主要讲解的是如何基于Nginx1.9实现四层负载均衡。

先理解两个概念"四层负载均衡"和"七层负载均衡"：  
**四层负载均衡：** 在网络模型中的传输层中，基于主要是基于tcp协议报文实现负载均衡（比如`LVS`、`haproxy`就是四层负载均衡器），使用改写报文的源地址和目的地址。

**七层负载均衡：** 在网络模型中应用层中，基于URL或者HTTP协议实现负载均衡，Web服务器。

其它：[《Nginx、HAProxy、LVS三者的优缺点》][Nginx_HAProxy_LVS]

## **2.环境安装** ##

**1.下载Nginx**（ 作用:实现反向代理、负载负载库）

<code class="language-shell">wget http://nginx.org/download/nginx-1.9.10.tar.gz
 </code>

**2.下载nginx\_tcp\_proxy\_module 插件** (nginx 支持TCP转发和负载均衡的支持)

<code class="language-shell">wget https://github.com/yaoweibin/nginx_tcp_proxy_module/tarball/master
 </code>

**3.解压Nginx**

<code class="language-shell">tar -zxvf nginx-1.9.10.tar.gz
 </code>

**4.解压nginx\_tcp\_proxy\_module 插件**

<code class="language-shell">tar -zxvf master
 </code>

**5.进入Nginx解压目录，下载tcp.patch最新补丁**

<code class="language-shell">cd nginx-1.9.10
 patch -p1 < ../yaoweibin-nginx_tcp_proxy_module-b8a3028/tcp.patch 
 </code>

如果报错:"-bash: patch: 未找到命令" 执行:

<code class="language-shell">yum -y install patch 
 </code>

5.配置Nginx

<code class="language-shell">./configure --add-module=../yaoweibin-nginx_tcp_proxy_module-b8a3028
 </code>

6.编译Nginx

<code class="language-shell">make && make install
 </code>

如果报错：  
In file included from …/nginx\_tcp\_proxy\_module-master/ngx\_tcp.h:32,  
from …/nginx\_tcp\_proxy\_module-master/ngx\_tcp.c:5:  
…/nginx\_tcp\_proxy\_module-master/ngx\_tcp\_upstream.h:144: error: expected specifier-qualifier-list before ‘ngx\_resolver\_addr\_t’  
make\[1\]: \*\*\* \[objs/addon/nginx\_tcp\_proxy\_module-master/ngx\_tcp.o\] Error 1  
make\[1\]: Leaving directory \`/opt/apps\_install/nginx-1.9.9’  
make: \*\*\* \[build\] Error 2

修改第三方模块包里的头文件，ngx\_tcp\_upstream.h 144 行将ngx\_resolver\_addr\_t 改为 ngx\_addr\_t

<code class="language-shell">cd /usr/local/yaoweibin-nginx_tcp_proxy_module-b8a3028
 vi ngx_tcp_upstream.h
 </code>

7.继续 make && make install  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70]  
这里的tcp\_proxy\_module好像出问题了，问题还没解决，如果解决了的小伙伴可以私信我 ! 为了不影响整体思路，直接看下一步：

8.修改nginx.conf配置文件

<code class="language-py">worker_processes 1;
 events {
 worker_connections 1024;
 }
 ### 修改为TCP模块
 tcp {
 
 ### 定义多个上游服务器
 upstream xxx{
 ### 定义TCP模块上游服务器
 server 192.168.5.165:80001;
 	 server 192.168.5.165:80002;
 }
 server {
 listen 9999;
 server_name 192.168.212.137;
 		### 反向代理upstream
 proxy_pass xxx;
 }
 }
 </code>

## **3.测试** ##

1.启动Nginx服务器

<code class="language-shell">./nginx
 </code>

2.使用**TCP/UDP测试工具**（网上搜，这里使用的是`myfiles_TCPUDPDebug102_Setup.exe`）新增两个服务端，分别为192.168.5.165:80001和192.168.5.165:80002：  
![在这里插入图片描述][20191115112642563.png]  
3.Ngxin连接反向代理TCP服务器  
![在这里插入图片描述][20191115112829951.png]  
效果：

*  连接Nginx服务器 192.168.212.138:9999，会立刻反向代理给192.168.5.165:8001，8001会自动连接连接的时候进行反向代理。
 *  断开连接后，连接Nginx服务器 192.168.212.138:9999，会立刻反向代理给192.168.5.165:8002
 *  断开连接192.168.212.138:9999轮流操作，8001和8002也会轮流连接（轮询算法）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 1]  
    自动连接到192.168.5.165:8002：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 2]  
    连接成功后就可以相互的发送消息了。

## **总结** ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 3]

[Link 1]: https://blog.csdn.net/cc1949/article/details/79063439
[Nginx_HAProxy_LVS]: https://blog.csdn.net/qlj324513/article/details/81541282
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70]: /images/20221120/4137ac77a45745d293a8a711a7fc1242.png
[20191115112642563.png]: https://img-blog.csdnimg.cn/20191115112642563.png
[20191115112829951.png]: https://img-blog.csdnimg.cn/20191115112829951.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191115113244944.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191115113912345.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191115114135347.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70