使用LVS-NAT搭建集群

Dear 丶 2021-12-09 16:05 297阅读 0赞

# 一、 集群概述 #

# 1、 什么是集群 #

一组各自相互独立且又相互依赖的,通过高速网络互联的计算机组成的一个计算机组, 以单一的系统模式加以管理, 为用户提供服务, 对用户来说, 用户只会认为对方是一个服务. 这个里面, 一组计算机的一台计算机就是集群的一个节点

# 2、 集群的特性 #

可伸缩性, 可靠性, 可管理性

# 3、 应用场景 #

例：  
一台服务器，如果能够响应10000个并发，返回的状态码全部是200  
如果现在有20000个并发 返回的状态码\[ 200 304 301 500 404 \]  
由以上例子说明，web服务已经达到瓶颈

解决这个问题的办法:  
加配置: 加CPU, 加内存, 加带宽, 加SSD 这种解决方法称为“向上扩展”, 能够解决一时, 却不能持久一世\[单台服务器上做动作\]。  
加服务器: 一台==>两台, 两台==>四台 四台==>8台 使用多台服务器同时为用户提供服务，而这一种解决方法则称为“横向扩展”或“向外扩展”。

向外扩展：就是集群。

# 4、 集群的种类 #

集群系统主要分为  
负载均衡(Load Balance)集群，简称LB。  
高可用(High Availability)集群，简称 HA 集群。  
高性能计算(High Perfermance Computing)集群，简称 HPC 集群。

# 二、 LVS集群 #

# 1、 LVS #

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一，是根据iptables的实现来开发的，所以使用时候会和iptables相当类似  
官网：[http://www.linuxvirtualserver.org/][http_www.linuxvirtualserver.org]  
中文站点： [http://zh.linuxvirtualserver.org/][http_zh.linuxvirtualserver.org]

# 2、 LVS集群工作结构图 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70]  
负载调度器,：分发器(Load Balancer, Director): 整个集群对外的最前端机, 负责接收用户请求, 并且根据自己的调度算法, 将请求转发到后端真实服务器上的动作，而客户认为服务是来自一个IP地址（我们可称之为VIP虚拟IP地址）上的。

服务器池: Server Pool 真正为用户提供服务的服务器, 每一台服务器就是一台RS\[RealServer\]，执行的服务有WEB、MAIL、FTP和DNS等。

共享存储: Shared Storaged 为RS保持相同内容, 提供数据的一致性，也就是说，它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。

# 3、 LVS模式及工作原理 #

3.1 LVS（4层）模式  
LVS/NAT  
LVS-VS/DR  
LVS/TUN

3.2 LVS负载均衡的三种转发方式  
LVS提供了三种包转发方式：NAT(网络地址映射)、IP Tunneling(IP隧道)、Direct Routing(直接路由)。不同的转发模式决定了不同的cluster的网络结构

3.3 NAT（网络地址转换）  
NAT: 网络地址转换  
DNAT: 目标地址转换 改变的是目标地址  
SNAT: 原地址转换 改变的是原地址  
LVS-NAT 就是使用的SNAT和DNAT完成报的转发  
NAT方式可支持任何的操作系统，以及私有网络，并且只需一个Internet IP地址，但是整个系统的性能受到限制。因为执行NAT每次需要重写包，有一定的延迟；另外，大部分应用有80%的数据是从服务器流向客户机，也就是用户的请求非常短，而服务器的回应非常大，对负载均衡器形成很大压力，成为了新的瓶颈。

3.4 IP Tunneling（IP隧道）  
director（分发器）分配请求到不同的real server。real server处理请求后直接回应给用户，这样director负载均衡器仅处理客户机与服务器的一半连接。IP Tunneling技术极大地提高了director的调度处理能力，同时也极大地提高了系统能容纳的最大节点数，可以超过100个节点。real server可以在任何LAN或WAN上运行，这意味着允许地理上的分布，这在灾难恢复中有重要意义。服务器必须拥有正式的IP地址用于与客户机直接通信，并且所有服务器必须支持IP隧道协议。

3.5 LNS-NAT模式的工作原理  
客户端访问调度器时，调度器通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。

如图：  
步骤1：客户端访问VIP1的网站  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 1]  
图上各IP注解：  
CIP 客户端的IP  
VIP 是域名解析的IP, 是集群对外的公网IP  
DIP 用来和后端服务器进行数据交互的IP, 请求报文转发给后端服务器从此口出去  
RIP 真实服务器的IP

步骤2：客户端访问调度器时，调度器通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；  
![在这里插入图片描述][20190714142926259.png]

步骤3：真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。  
![在这里插入图片描述][20190714142929943.png]  
步骤总结及过程地址变化：  
1: [客户端请求访问www.example.com][www.example.com]\[[www.example.com][www.example.com 1] ===> VIP\]  
源地址: CIP 目标地址: VIP

2: 请求报文到达负载均衡器
    		源地址: CIP   目标地址: RIP
    		
    	3: RealServer收到报文处理, 响应
    		源地址: RIP		目标地址: CIP
    		
    	4: 负载调度器收到报文, 根据自身之前的转发修改记录, 还原报文
    		源地址: VIP		目标地址: CIP

# 4、 实战：配置LVS-NAT #

4.1 LVS-NAT模式  
环境介绍:  
准备三台机器，关闭防火墙、selinux，清空防火墙规则  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 2]  
4.2 拓扑图  
![在这里插入图片描述][20190714142944192.png]  
4.3 集群各节点IP说明  
客户端计算机的IP（CIP）：  
可能是一个本地的、与VIP在同一网络的私有ip地址，或者是一个因特网上的公共ip地址。用作向集群发送请求的源ip地址

虚拟IP（VIP）：  
Director用于向客户端提供服务的ip地址  
Director的IP（DIP）：  
在Director的VIP上接收访问集群服务的请求，这些请求通过DIP转发出去抵达各个集群节点

真实real server IP（RIP）：  
在LVS术语中，向外部世界提供服务的节点叫做真实服务器，因此在真实服务器上使用的IP地址叫做真实IP地址（RIP）。

4.4 配置LVS-xuegod110  
xuegod110配置为分发器：  
4.4.1 开启路由转发功能  
\[root@xuegod110 ~\]\# vim /etc/sysctl.conf  
net.ipv4.ip\_forward = 1 \#追加一行

4.4.2 让配置生效  
\[root@xuegod110 ~\]\# sysctl -p  
net.ipv4.ip\_forward = 1

4.4.3 配置网络环境  
xuegod110需要两张网站，VIP对应的网卡模拟公网地址，通过NAT模式和客户端连接，自动获取IP地址；DIP地址和内网连接，设置为LAN1和两台真实的server连接，配置192.168.1.110  
具体配置不详细说明

4.4.4 安装LVS管理工具  
\[root@xuegod110 ~\]\# yum -y install ipvsadm

4.4.5 使用ipvsadm设置规则  
\[root@xuegod110 ~\]\# ipvsadm -A -t 192.168.174.128:80 -s rr \#这里的IP地址是VIP地址  
参数说明：  
\-A ：添加虚拟服务器（设置分发器）  
\-t ：表示TCP服务器，后加端口号  
\-s ：指定调度的算法。rr表示round-robin轮循

\[root@xuegod110 ~\]\# ipvsadm -a -t 192.168.174.128:80 -r 192.168.1.120 -m  
\[root@xuegod110 ~\]\# ipvsadm -a -t 192.168.174.128:80 -r 192.168.1.130 –m  
参数说明：  
\-a ：表示添加real server的地址  
\-r ： 表示制定real server的地址  
\-m ：表示masquerade 也就是NAT的方式LVS

4.4.6 查看  
Ipvsadm命令，用于配置及查看内核IPVS表和算法的工具，类似于iptables  
\[root@xuegod110 ~\]\# ipvsadm -L –n  
![在这里插入图片描述][20190714142954142.png]

4.4.7 保存配置或规则  
注意：  
在保存规则并实现规则在开机自动生效时，前提一定需要把ipvsadm设置为开机自动启动，否则将无法实现规则开机自动生效。  
\[root@xuegod110 ~\]\# systemctl enable ipvsadm.service  
\[root@xuegod110 ~\]\# ipvsadm --save > /etc/sysconfig/ipvsadm  
或者  
\[root@xuegod110 ~\]\# ipvsadm –S  
![在这里插入图片描述][20190714143016740.png]

4.5 配置真实服务器  
4.5.1 配置网络环境  
两台服务器的IP地址，分别配置对应的IP地址，网关需要指定到DIP地址，这里不详细说明

4.5.2 分别安装httpd服务  
\[root@xuegod120 ~\]\# yum -y install httpd  
\[root@xuegod130 ~\]\# yum -y install httpd

分别在两台真实服务器中编写一个网页文件，内容不同，方便区分  
![在这里插入图片描述][20190714143024452.png]  
![在这里插入图片描述][20190714143028396.png]

4.5.3 测试  
在分发器上使用elinks测试，先安装elinks  
\[root@xuegod110 ~\]\# yum -y install elinks

测试真实服务器的IP地址：  
\[root@xuegod110 ~\]\# elinks 192.168.1.120 --dump  
192.168.1.120  
\[root@xuegod110 ~\]\# elinks 192.168.1.130 --dump  
192.168.1.130

测试VIP地址：  
![在这里插入图片描述][20190714143034508.png]  
在客户端上访问测试  
![在这里插入图片描述][20190714143038570.png]  
![在这里插入图片描述][20190714143041626.png]

# 三、 扩展ipvsadm #

\-L -n ==> 查看规则，显示内核虚拟服务器表  
\-L -n -c ==> 查看客户端连接分发器和real server 的情况  
例1：  
\[root@xuegod110 ~\]\# ipvsadm -L -n -c  
IPVS connection entries  
pro expire state source virtual destination  
TCP 01:36 FIN\_WAIT 192.168.1.105:50082 192.168.1.63:80 192.168.2.62:80  
TCP 01:35 TIME\_WAIT 192.168.1.63:53816 192.168.1.63:80 192.168.2.64:80  
TCP 01:27 TIME\_WAIT 192.168.1.105:49978 192.168.1.63:80 192.168.2.64:80  
TCP 01:34 TIME\_WAIT 192.168.1.63:53814 192.168.1.63:80 192.168.2.62:80

选项：  
\-L -n --stats ==> 查看分发情况  
\-L -n --rate ==> 查看速率  
\-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）

例2：  
\[root@xuegod110 ~\]\# ipvsadm -Z  
\[root@xuegod110 ~\]\# ipvsadm -L -n --stats  
IP Virtual Server version 1.2.1 (size=4096)  
选项：  
\-Z --clear 清空IPVS的数据、等信息

例3：  
\[root@xuegod110 ~\]\# ipvsadm -C  
选项：  
\-C 清空所有规则

LVS的规则配置文件：/etc/sysconfig/ipvsadm

附录：ipvsadm命令选项解释：  
\-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。  
\-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。  
\-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。  
\-C --clear 清除内核虚拟服务器表中的所有记录。  
\-R --restore 恢复虚拟服务器规则  
\-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式  
\-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器  
\-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录  
\-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录  
\-L|-l --list 显示内核虚拟服务器表  
\-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）  
–set tcp tcpfin udp 设置连接超时值  
–start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived的VRRP 功能。  
–stop-daemon 停止同步守护进程  
\-h --help 显示帮助信息  
其他的选项:  
\-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务\[vip:port\] or \[real-server-ip:port\]  
\-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务\[vip:port\] or \[real-server-ip:port\]  
\-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。  
\-s --scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是： wlc.  
\-p --persistent \[timeout\] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。  
\-M --netmask netmask persistent granularity mask  
\-r --real-server server-address 真实的服务器\[Real-Server:port\]  
\-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）  
\-i --ipip 指定LVS 的工作模式为隧道模式  
\-m --masquerading 指定LVS 的工作模式为NAT 模式  
\-w --weight weight 真实服务器的权值  
–mcast-interface interface 指定组播的同步接口  
\-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c  
–timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout  
–daemon 显示同步守护进程状态  
–stats 显示统计信息  
–rate 显示速率信息  
–sort 对虚拟服务器和真实服务器排序输出  
–numeric -n 输出IP 地址和端口的数字形式

超时时间用ipvsadm --set tcp tcpfin udp设置，比如  
\#ipvsadm --set 120 20 100  
表示tcp空闲等待时间为120 秒  
客户端关闭链接等待时间为20秒  
udp空闲等待为100秒

[http_www.linuxvirtualserver.org]: http://www.linuxvirtualserver.org/
[http_zh.linuxvirtualserver.org]: http://zh.linuxvirtualserver.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70]: /images/20211209/561061d691e94a24aed4556abe28cd1a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 1]: /images/20211209/27408ce54857473088383b933bbc0333.png
[20190714142926259.png]: /images/20211209/043ebfcd4a914366ada73e6811bd07cb.png
[20190714142929943.png]: /images/20211209/e8262dcc608b446ab35569e6534da1f7.png
[www.example.com]: http://xn--www-kg0fp40a0upnhy203amoa463f.example.com
[www.example.com 1]: http://www.example.com
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 2]: /images/20211209/726d716282d04c10bd6801bddb9c19d9.png
[20190714142944192.png]: /images/20211209/f432cdf6f93a49ebb7e1aa346bb16b86.png
[20190714142954142.png]: /images/20211209/4e04dff3813f486c970be9432e917414.png
[20190714143016740.png]: /images/20211209/f1a9df41d35c4de081e69180f7d6ff6e.png
[20190714143024452.png]: /images/20211209/7092ceb7739c406f8e404591a67ca6aa.png
[20190714143028396.png]: /images/20211209/39454c8c2d1640fdb681c3b8ff007525.png
[20190714143034508.png]: /images/20211209/834582d51f884ff2887392a904d2552b.png
[20190714143038570.png]: /images/20211209/2eae20e868324567b7ba454454901056.png
[20190714143041626.png]: /images/20211209/a5e4f63fb5e947c08be1a2bbb354219b.png