亿级PV系统的负载均衡架构与组件的选型

太过爱你忘了你带给我的痛 2022-03-20 07:22 255阅读 0赞

# 写作背景 #

现在已经是1202年了，我相信稍微有点规模的公司在部署系统的架构上都不会再采用单体架构，都是采用集群部署了，那么集群就会涉及到负载均衡的问题，而负载均衡又有很多种选择，前有硬负载F5，软负载LVS，Haproxy，后有后期之秀Nginx，选用不同的中间件都会对系统的性能带来不同的影响，所以，了解各种负载均衡的中间件优缺点就显得尤为重要，只有这样才能找到最适合自己系统的架构，才知道怎么选型。

# 理论架构 #

我们先来说说现阶段最完备的解决方案是怎样的（有误轻喷。。。）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70]  
可以看到大概就是dns轮巡+f5+lvs+nginx+tomcat这些组件来实现负载均衡架构，但实际上，如果你的公司真正需要用到F5，你公司的体量肯定已经很大了，大部分公司采用的方案都是lvs+nginx，或者直接采用nginx，nginx 从1.9.0版本开始支持四层代理。

# 什么是DNS轮训 #

我们知道，我们访问一个网站用的是他的域名，但域名只是为了方便人记忆的产物，域名最终是要解析成IP的，而域名解析成IP，就需要去一个DNS服务器做域名解析。  
DNS（Domain Name System，域名系统），因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析（或主机名解析）。DNS协议运行在UDP协议之上，使用端口号53。  
DNS负载均衡技术是最早的负载均衡解决方案，它是通过DNS服务中的随机名字解析来实现的，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中的一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，它们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 1]  
优点：实现简单、实施容易、成本低、适用于大多数TCP/IP应用；

缺点：

1、 负载分配不均匀，DNS服务器将Http请求平均地分配到后台的Web服务器上，而不考虑每个Web服务器当前的负载情况；如果后台的Web服务器的配置和处理能力不同，最慢的Web服务器将成为系统的瓶颈，处理能力强的服务器不能充分发挥作用；

2、可靠性低，如果后台的某台Web服务器出现故障，DNS服务器仍然会把DNS请求分配到这台故障服务器上，导致不能响应客户端。

3、变更生效时间长，如果更改NDS有可能造成相当一部分客户不能享受Web服务，并且由于DNS缓存的原因，所造成的后果要持续相当长一段时间(一般DNS的刷新周期约为24小时)。

# F5、LVS、NGINX的区别 #

F5和LVS是基于四层交换技术的负载均衡，而NGINX基于七层交换技术的负载均衡。

## 基于四层交换技术的负载均衡 ##

关于OSI 7层模型这部分知识可以看[OSI 7层模型和TCP/IP 4层模型][OSI 7_TCP_IP 4]，对于本文，你只需要知道四层是TCP/IP层，他无法得到数据包的内容信息，要得到内容信息需要七层即HTTP层。  
那么问题就显而易见，也就是说F5和LVS是无法得到数据包的内容信息的，他们要做负载均衡，只是修改下IP地址，然后转发给后端服务器，TCP三次握手是直接和后端连接的。负载均衡设备在接收到第一个来自客户端的SYN 请求时，即通过规则选择一个最佳的服务器，并对报文中目标IP地址进行修改(改为后端服务器IP），直接转发给该服务器。TCP的连接建立，即三次握手是客户端和服务器直接建立的，负载均衡设备只是起到一个类似路由器的转发动作。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 2]  
client发送请求至4层负载均衡器，4层负载均衡器根据负载策略把client发送的报文目标地址(原来是负载均衡设备的IP地址)修改为后端服务器（可以是web服务器、邮件服务等）IP地址，这样client就可以直接跟后端服务器建立TCP连接并发送数据。  
**优点**：由于只需要替换源IP，无需关注数据包内容，所以性能高、支持各种网络协议  
**缺点**：也是由于无法解析数据包内容，所以，负载智能化方面没有7层负载好，比如不支持对url个性化负载，比如不支持我想要图片等多媒体类的请求负载到一台服务器，非图片类的负载到另一台。此外F5硬件性能很高但成本也高需要人民币几十万，对于小公司就望而却步了。

## 基于七层交换技术的负载均衡 ##

NGINX和Apache就是基于七层交换技术的负载均衡  
基于七层交换技术的负载均衡也称内容交换，也就是主要通过报文中的真正有意义的应用层内容，再加上负载均衡设备设置的服务器选择方式，决定最终选择的服务器。  
举个例子，如果你的Web服务器分成两组，一组是中文语言的，一组是英文语言的，那么七层负载均衡就可以当用户来访问你的域名时，自动辨别用户语言，然后选择对应的语言服务器组进行负载均衡处理。这个需求在四层负载均衡是无法实现的，因为4层不会解析数据包的内容，就不知道用户的语言是什么。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 3]  
七层负载均衡服务器起了一个代理服务器的作用，client要访问webserver要先与七层负载设备进行三次握手后建立TCP连接，把要访问的报文信息发送给七层负载均衡；然后七层负载均衡再根据设置的均衡规则选择特定的webserver，然后通过三次握手与此台webserver建立TCP连接，然后webserver把需要的数据发送给七层负载均衡设备，负载均衡设备再把数据发送给client。  
**优点**：对网络依赖少，负载智能方案多（比如可根据不同的url进行负载，根据数据包内容不同进行负载）  
**缺点**：7层代理则必须要先和代理机三次握手后，才能得到7层（HTT层）的具体内容，然后再转发。意思就是代理机必须要与client和后端的机器都要建立连接。显然性能不行了。另外支持的网络协议也有限，nginx和apache支持http负载。

# 各阶段的理论并发数 #

**Tomcat**  
默认的tomcat的是150个并发，一般来说我们优化到400左右就可以了。流量再多可以做集群。

**Nginx**  
Nginx的性能很高，并发默认是512。通过优化，可以支撑到10W，但一般只会优化到3W、5W。流量再多可以做集群。

**LVS**  
LVS的原理是篡改目标地址来实现负载均衡。理论支持并发达百万，一般优化到10w-50w

**F5**  
F5是硬件，且价格高昂，可以做到千万并发。其理论并发支持如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 4]

# 写在最后 #

本文先从一开始介绍了一个比较完备的负载均衡方案，然后再介绍了各种负载均衡中间件的优缺点，最后再介绍了各种中间件理论支持的并发数。  
当然文中肯定还有不少错误与遗漏，欢迎补充。  
最后需要注意的是，上诉的 DNS轮询+F5+LVS+NGINX 并非固定搭配，比如小公司完全不需要使用F5这种价格高昂的硬件，据我所知更多公司使用的可能是单节点的NGINX通过KeepAlive来做高可用，然后后端部署tomcat集群，这种架构确确实实是只有一台nginx在工作的，只有主机宕机了备机才会上位。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 5]  
至于为什么不搭建nginx集群，是因为当nginx作为外部的唯一访问入口，没办法直接以集群的形式对外提供服务，没有那么多的公网ip资源可用，既太浪费也不友好。

# 参考 #

网易云视频：https://study.163.com/course/courseLearn.htm?courseId=1006387038\#/learn/live?lessonId=1053929995&courseId=1006387038

https://www.cnblogs.com/arjenlee/p/9262737.html

https://www.jianshu.com/p/7385b2a4141f

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70]: /images/20220320/ac645f3118be441f92b0ff0d69d3c423.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 1]: /images/20220320/a5af238112bc41caaadfec485563bc25.png
[OSI 7_TCP_IP 4]: https://zhuanlan.zhihu.com/p/32059190
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 2]: /images/20220320/9d1511e81c8b4424beb0c7e7abe70371.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 3]: /images/20220320/f59e8fd92dd84a2a96adf91ba73c4668.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 4]: /images/20220320/af7da89ec9e345499ab111ef309feffd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70 5]: /images/20220320/e4addabd90884a61843c48d71bdb7107.png