负载均衡相关基础知识

布满荆棘的人生 2023-02-15 03:56 24阅读 0赞

![format_png][]

**负载均衡基础知识**

一、什么是负载均衡？

负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。

负载均衡（Load Balance）其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。

![format_png 1][]

早期的方法是使用DNS做负载，通过给客户端解析不同的IP地址，让客户端的流量直接到达各个服务器。但是这种方法有一个很大的缺点就是延时性问题，在做出调度策略改变以后，由于DNS各级节点的缓存并不会及时的在客户端生效，而且DNS负载的调度策略比较简单，无法满足业务需求，因此就出现了负载均衡。

![format_png 2][]

客户端的流量首先会到达负载均衡服务器，由负载均衡服务器通过一定的调度算法将流量分发到不同的应用服务器上面，同时负载均衡服务器也会对应用服务器做周期性的健康检查，当发现故障节点时便动态的将节点从应用服务器集群中剔除，以此来保证应用的高可用。

![format_png 3][]

负载均衡又分为 四层负载均衡 和 七层负载均衡 。四层负载均衡工作在OSI模型的 **传输层****，**主要工作是转发，它在接收到客户端的流量以后通过 修改数据包的地址 信息将流量转发到应用服务器。

七层负载均衡工作在OSI模型的 应用层 ，因为它需要解析应用层流量，所以七层负载均衡在接到客户端的流量以后，还需要一个完整的TCP/IP协议栈。七层负载均衡会与客户端建立一条 完整的连接 并将应用层的请求流量解析出来，再按照调度算法选择一个应用服务器，并与应用服务器建立另外一条连接将请求发送过去，因此七层负载均衡的主要工作就是 代理 **。**

![format_png][]

二、负载均衡如何处理状态

我们都知道基于session的用户认证会在服务器存有session的一些信息，但当系统引入负载均衡的时候这样会出现一些问题。

举个电商网站的例子，当用户U发送的登录请求被分发到了服务器S1并在服务器中记录了session信息，而当用户想要提交购物请求的时候这个请求被分发到了服务器S2，但服务器S2 并没有 保存用户U的session信息。

为了解决这个问题一个是可以使用IP hash算法，这个算法根据IP来分配流量对应的服务器，所以可以保证同一个用户的流量会访问到同一个服务器。另一个应用层的方法是sticky session，中文应该叫粘性会话，负载均衡器会设置一个cookie然后带有这个cookie的session都会被分配到同一个服务器上。

![format_png][]

三、负载均衡的算法？

1. 随机算法

Random随机，按 权重 设置随机概率。在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。

2. 轮询及加权轮询

轮询 ( RoundRobbin )当服务器群中各服务器的 处理能力相同 时，且每笔业务处理量差异不大时，最适合使用这种算法。轮循，按公约后的权重设置轮循比率。存在慢的提供者累积请求问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。

加权轮询 (WeightedRound Robbin)为轮询中的每台服务器附加一定权重的算法。比如服务器1权重1，服务器2权重2，服务器3权重3，则顺序为1-2-2-3-3-3-1-2-2-3-3-3-......

3. 最小连接及加权最小连接

最少连接 (LeastConnections)在多个服务器中，与处理连接数(会话数)最少的服务器进行通信的算法。即使在每台服务器处理能力各不相同，每笔业务处理量也不相同的情况下，也能够在一定程度上降低服务器的负载。

加权最少连接 (Weighted Least Connection)为最少连接算法中的每台服务器附加权重的算法，该算法事先为每台服务器分配处理连接的数量，并将客户端请求转至连接数最少的服务器上。

4. 哈希算法

普通哈希

一致性哈希一致性Hash，相同参数的请求总是发到同一提供者。当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。

5. IP地址散列

通过管理发送方 IP 和 目的地IP地址 的散列，将来自同一发送方的分组(或发送至同一目的地的分组)统一转发到 相同服务器 的算法。当客户端有一系列业务需要处理而必须和一个服务器反复通信时，该算法能够以 流(会话) 为单位，保证来自相同客户端的通信能够一直在同一服务器中进行处理。

6.URL散列

通过管理客户端请求URL信息的散列，将发送至相同URL的请求转发至同一服务器的算法。

![format_png][]

四、负载均衡的实现（DNS > 数据链路层 > IP层 > Http层）

1 - DNS域名解析负载均衡（延迟）

![format_png 4][]

利用 DNS 处理域名解析请求的 同时进行负载均衡 是另一种常用的方案。在DNS服务器中配置 多个A记录，如：www.mysite.comIN A 114.100.80.1、www.mysite.com IN A 114.100.80.2、www.mysite.com IN A 114.100.80.3.  
每次域名解析请求都会根据负载均衡算法计算一个不同的IP地址返回，这样A记录中配置的多个服务器就构成一个集群，并可以实现负载均衡。  
DNS域名解析负载均衡 的优点是将负载均衡工作交给DNS，省略掉了网络管理的麻烦，缺点就是**DNS****可能缓存A记录，不受网站控制**。事实上，大型网站总是部分使用DNS域名解析，作为第一级负载均衡手段，然后再在内部做第二级负载均衡。

2 - 数据链路层负载均衡(LVS)

![format_png 5][]

数据链路层负载均衡 是指在通信协议的数据链路层 修改mac地址 进行负载均衡。  
这种数据传输方式又称作 三角传输模式，负载均衡数据分发过程中不修改IP地址，**只修改目的的mac地址**，通过配置真实物理服务器集群所有机器虚拟IP和负载均衡服务器IP地址一样，从而达到负载均衡，这种负载均衡方式又称为直接路由方式（DR）。  
　在上图中，用户请求到达负载均衡服务器后，负载均衡服务器将请求数据的目的mac地址修改为真是WEB服务器的mac地址，并不修改数据包目标IP地址，因此数据可以正常到达目标WEB服务器，该服务器在处理完数据后可以经过网管服务器而不是负载均衡服务器直接到达用户浏览器。  
　使用三角传输模式的链路层负载均衡是目前大型网站所使用的最广的一种负载均衡手段。在linux平台上最好的链路层负载均衡开源产品是LVS(linux virtual server)。

3 - IP负载均衡(SNAT)

![format_png 6][]

IP负载均衡：即**在网络层通过 ****修改请求目标地址 **进行负载均衡。  
用户请求数据包到达负载均衡服务器后，负载均衡服务器在操作系统内核进行获取网络数据包，根据负载均衡算法计算得到一台真实的WEB服务器地址，然后将数据包的IP地址修改为真实的WEB服务器地址，不需要通过用户进程处理。真实的WEB服务器处理完毕后，相应数据包回到负载均衡服务器，负载均衡服务器再将数据包源地址修改为自身的IP地址发送给用户浏览器。  
　这里的关键在于真实WEB服务器相应数据包如何返回给负载均衡服务器，一种是负载均衡服务器在修改目的IP地址的同时修改源地址，将数据包源地址改为自身的IP，即源地址转换（SNAT），另一种方案是将负载均衡服务器同时作为真实物理服务器的网关服务器，这样所有的数据都会到达负载均衡服务器。  
IP负载均衡在内核进程完成数据分发，较反向代理均衡有更好的处理性能。但由于所有请求响应的数据包都需要经过负载均衡服务器，**因此负载均衡的网卡带宽成为系统的****瓶颈**。

4 - HTTP重定向负载均衡(少见)

![format_png 7][]

HTTP重定向服务器 是一台普通的应用服务器，其唯一的功能就是根据用户的 HTTP请求 计算一台真实的服务器地址，并将真实的服务器地址写入HTTP重定向响应中（响应状态码302）返回给浏览器，然后浏览器再自动请求真实的服务器。  
这种负载均衡方案的优点是比较简单，缺点是浏览器需要每次请求两次服务器才能拿完成一次访问，性能较差；使用HTTP302响应码重定向，可能是搜索引擎判断为SEO作弊，降低搜索排名。重定向服务器自身的处理能力有可能成为瓶颈。因此这种方案在实际使用中并不见多。

5 - 反向代理负载均衡(nginx)

![format_png 8][]

传统代理服务器位于浏览器一端，代理浏览器将HTTP请求发送到互联网上。而反向代理服务器则位于网站机房一侧，代理网站web服务器接收http请求。  
　反向代理的作用是保护网站安全，所有互联网的请求都必须经过代理服务器，相当于在web服务器和可能的网络攻击之间建立了一个屏障。  
　除此之外，代理服务器也可以配置缓存加速web请求。当用户第一次访问静态内容的时候，静态内存就被缓存在反向代理服务器上，这样当其他用户访问该静态内容时，就可以直接从反向代理服务器返回，加速web请求响应速度，减轻web服务器负载压力。  
　另外，反向代理服务器也可以实现负载均衡的功能。

![format_png 9][]

由于反向代理服务器转发请求在HTTP协议层面，因此也叫应用层负载均衡。优点是部署简单，缺点是可能成为系统的瓶颈。

![format_png 10][]

[搞java开发，看懂JVM的GC日志真的很重要][java_JVM_GC]

[一次容器化springboot程序OOM问题探险][springboot_OOM]

[Java 应用性能调优的一些实践][Java]

[可视化界面在线生成JVM参数][JVM]

[一次线上故障：数据库连接池泄露后的思考][Link 1]

[java内存溢出问题分析过程二(附MAT超全操作文档)][java_MAT]

[使用Eclipse Memory Analyzer Tool（MAT）分析线上故障(一)][Eclipse Memory Analyzer Tool_MAT]

[一文让你理解什么是shallow heap及retained heap][shallow heap_retained heap]

[内存分析诊断系列-理解heap dump][-_heap_dump]

![format_png 11][]

“**在看**”的永远18岁~

![format_png 12][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9oRlJ0WEd6M0VBQnEyODFHZWd6bzJLbjRUWDNyN2VBVWt4WTBITlNDaWF4czl6TmM2bVBEYk1pYTVOemN1dFlZRlZ6c0wwYmhXaWNLNXg1M0hnb05mSENjdy82NDA?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNUkd2YmliR2ljaWJPUlJPZVY3ZzZMSzJCSU10cFlGbGZKRVJhd2VJZmRESlZtdkZxdXZFU1pTQzlnLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNdk5qQ1hudllmNmljbFNJOWhvd1pWck9wMG5ZZTVqZWZXcWN4bXo4aWJldmw1Y2I2aGhDZ2t1Q1EvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNMnFpYWljU2ZtSlFsQkU2QXo4OFRxN1NTZ0x2eDZpY3UwUElEbXRwRkxzWldsSWRJeno0dHN6S3J3LzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNZGliSkF1WmZjU25vcHA1Q2lhQmxPU2VjSjN0V2NVWDMyUkJvU2hKYnRXT1kyUFlOemRZTU5NSkEvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNaDlVVXg4Q1lXNkRQOEkwRG1GbmZqZW9xeTZleWdpY1pUbUlXbVpPNGFpYmUzWWcwYlo4WWljbGNnLzY0MA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNQVNIYmlicUFoaFdLZDNEUDB0V0ZvUXo3SERmZGFOdWZlVnl4WGliOXp5V3RQQVNZYW9pY3pDdm1nLzY0MA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNV1RqVzJDbElCTzBWbU5xVDY4SWhsY3c3SUNiT3lmQ2ljeFlNc3lxa0tNeHg0S3o5SlZDaWI0cmcvNjQw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNZUhCdmU5SUR4R01aZ0lscVZMeUZXcEg5OVJQWmlhRXd3OVhpYzY2ZWVQbVUwT1d6RFBVZ1JQaWNBLzY0MA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUxVmZkZ3RpYnlaT3d2MFhlNjRQV3FNTjQ4dGVJQ01SS2VnU0RwaWJneTFrMWdpYXA2UWRpYU56Rkp6V1hkbWJ1YkhVaWJwaWFERDJoUGJCTEEvNjQw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnRDYWxzMWRGZFVjZ1lTWDVFMFhQN2liWklsc2FpYzNnMGg5TWtDT2VONkI5aWNuOHJCa3Z0TnBWbmxoc2hGQ1BxNHFXcjFxMnJYdk5HSmcvNjQw?x-oss-process=image/format,png
[java_JVM_GC]: https://blog.csdn.net/u012811805/article/details/105131324
[springboot_OOM]: https://blog.csdn.net/u012811805/article/details/101085547
[Java]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7dccb337ecadd6f748c4d5aae213003d3cc40c501d9865591e18539343083070888203b&idx=1&mid=2247484133&scene=21&sn=70156fc59563970321007d04a3d160b0#wechat_redirect
[JVM]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e6cb337ef0bf114949eec1eb93e404f8ae64988a03cdc53a014119f496172a5de568f4&idx=1&mid=2247484127&scene=21&sn=92e774ee1edc2dd0013c60f1347d0fe6#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f709cb337e1f72b4f5458c84f59b7e2a5126f1d206781eaa11873df355479bfeb7bf04b1&idx=1&mid=2247483952&scene=21&sn=3bc726a6ea135a77c34d0b9c18447b8b#wechat_redirect
[java_MAT]: https://blog.csdn.net/u012811805/article/details/104770774
[Eclipse Memory Analyzer Tool_MAT]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e8cb337efe3c8a0d65fdcad6021c841cd5c00c47e20b09ff7fa31470a29865cda12a0a&idx=1&mid=2247484113&scene=21&sn=2f603fec4d105d832db0783369b9fe57#wechat_redirect
[shallow heap_retained heap]: https://blog.csdn.net/u012811805/article/details/104737895
[-_heap_dump]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f794cb337e82fdcd6ad918d1a490d90908b6f453ddb45ad55b4a24a8b749e09baa9cc7a8&idx=1&mid=2247484077&scene=21&sn=5ae695faef094c78f2aa257b58b3034a#wechat_redirect
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnZ6aGRLck1pY1NQSWliZzhQRWJPa2E4bmpjOHJFZmFLa09YTHAyd21wckxpY0JRaWNYMWlhdVFzWEdTTDlpYXhreFZTb3RQQ2F2U2hva1NvVHcvNjQw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9iOTZDaWJDdDcwaWFhQkFpY0ROQ1NzNkgwTzBTQkdTQUxmbkJhRGFlRVYxUncwc05JOHVvUE10bktTSEJabW9RMTVjMGtLbWtkRjVpYXpmcWVqYWljN3hIOThnLzY0MA?x-oss-process=image/format,png