nginx+keepalived负载均衡可用框架（补一 keepalived安装配置-热备-（服务器层和应用层））

雨点打透心脏的1/2处 2022-06-17 12:46 39阅读 0赞

这里我先说说什么是热备什么是互备，自定义的莫见怪

热备：（MASTER）-（BACKUP ）模式，备份机平常就是个摆设，浪费资源

互备：（MASTER、BACKUP）-（BACKUP、MASTER）模式，备份机也是主机，主机也是备份机，资源利用率高

热备又分为两种情况：

第一种情况：服务器层的热备（比如服务器宕机、keepalived宕、网络不同，这个主要针对ip及keepalived）

第二种情况：应用层（web）的热备（比如web应用端口不同，nginx进程被意外kill，这个主要针对端口）

安装步骤

1.安装依赖

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  yum -y install gcc gcc+ gcc-c++  
2.  yum install popt-devel openssl openssl-devel libssl-dev libnl-devel popt-devel

比较重要！

2.安装keepalived

如没有wget请选安装wget

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  yum install wget

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  wget http://www.keepalived.org/software/keepalived-1.2.10.tar.gz  
2.  tar zxvf keepalived-1.2.10.tar.gz  
3.  cd keepalived-1.2.10  
4.  ./configure --prefix=/usr/local/keepalived  
5.  make  
6.  make install

wget下载、tar解压、

configure,这一步一般用来生成Makefile，为下一步的编译做准备，你可以通过在configure后加上参数来对安装进行控制

比如 ./configure --prefix=/usr/local/keepalived（安装在/usr/local/keepalived目录下）

make,这一步就是编译，大多数的源代码都经过这一步进行编译

make install ，这条命令来进行安装

3.修改配置文件路径

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  cp /usr/local/keepalived/sbin/keepalived /usr/sbin/    
2.  cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/    
3.  cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/    
4.  mkdir /etc/keepalived    
5.  cd /etc/keepalived/

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  vi keepalived.conf

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  global\_defs \{  
2.     notification\_email \{  
3.        user@example.com \#设置报警邮件地址，可以设置多个，每行一个。需要开启sendmail服务。  
4.     \}  
5.    
6.     notification\_email\_from mail@example.org \#设置邮件的发送地址  
7.     smtp\_server 192.168.200.1 \#设置SMTP Server地址  
8.     smtp\_connect\_timeout 30 \#设置SMTP Server的超时时间  
9.     router\_id LVS\_DEVEL \#表示运行Keepalived服务器的一个标示。发邮件时显示邮件主题的信息  
10. \}  
11.   
12. vrrp\_instance VI\_1 \{ \#vrrp实例定义部分  
13.     state MASTER \#标示状态为MASTER 指定Keepalived的角色（MASTER主，BACKUP备）  
14.     interface em2 \#指定HA检测网络的接口  
15.     virtual\_router\_id 51 \#虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识，即同一个vrrp\_instance下的MASTER和BACKUP必须一致  
16.     priority 101   \#MASTER权重要高于BACKUP 数字越大优选级越高  
17.     advert\_int 1 \#组播信息发送间隔，两个节点设置必须一样  
18.     mcast\_src\_ip 192.168.65.142 \#vrrp实体服务器的IP  发送多播包的地址，如果不设置默认使用绑定网卡的primary ip  
19.   
20.   
21.     authentication \{  
22.         auth\_type PASS \#主从服务器验证方式  设置验证类型和密码，MASTER和BACKUP必须使用相同的密码才能正常通信  
23.         auth\_pass 1111  
24.     \}  
25.   
26.     \#VIP  
27.     virtual\_ipaddress \{  
28.         192.168.65.151 \#虚拟IP 可以设置多个虚拟IP地址，每行一个  
29.     \}  
30. \}

4.设置为开机启动

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  vi /etc/rc.local

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \#添加  
2.  \#keepalived  
3.  /etc/init.d/keepalived start

5.MASTER和BACKUP配置文件

BACKUP的keepalived.conf

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  global\_defs \{  
2.     notification\_email \{  
3.        user@example.com \#设置报警邮件地址，可以设置多个，每行一个。需要开启sendmail服务。  
4.     \}  
5.    
6.     notification\_email\_from mail@example.org \#设置邮件的发送地址  
7.     smtp\_server 192.168.200.1 \#设置SMTP Server地址  
8.     smtp\_connect\_timeout 30 \#设置SMTP Server的超时时间  
9.     router\_id LVS\_DEVEL \#表示运行Keepalived服务器的一个标示。发邮件时显示邮件主题的信息  
10. \}  
11.   
12. vrrp\_instance VI\_1 \{ \#vrrp实例定义部分  
13.     state BACKUP\#标示状态为MASTER 指定Keepalived的角色（MASTER主，BACKUP备）  
14.     interface em1 \#指定HA检测网络的接口  
15.     virtual\_router\_id 51 \#虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识，即同一个vrrp\_instance下的MASTER和BACKUP必须一致  
16.     priority 100   \#MASTER权重要高于BACKUP 数字越大优选级越高  
17.     advert\_int 1 \#组播信息发送间隔，两个节点设置必须一样  
18.     mcast\_src\_ip 192.168.51.55 \#vrrp实体服务器的IP  发送多播包的地址，如果不设置默认使用绑定网卡的primary ip  
19.   
20.   
21.     authentication \{  
22.         auth\_type PASS \#主从服务器验证方式  设置验证类型和密码，MASTER和BACKUP必须使用相同的密码才能正常通信  
23.         auth\_pass 1111  
24.     \}  
25.   
26.     \#VIP  
27.     virtual\_ipaddress \{  
28.         192.168.65.151 \#虚拟IP 可以设置多个虚拟IP地址，每行一个（一般使用虚拟ip来访问）  
29.     \}  
30. \}

注意点

重点！！！

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  mcast\_src\_ip 192.168.51.55 \#vrrp实体服务器的IP  发送多播包的地址，如果不设置默认使用绑定网卡的primary ip

这个实体服务器的IP要么不设置，要么一定设置为本机IP，不然会刷新页面出现错误（具体错误忘记了）

state （MASTER与BACKUP）

virtual\_router\_id 必须一致

priority 主>备

advert\_int 必须一致

authentication 必须一致

virtual\_ipaddress 一致（一般使用虚拟ip来访问）

5.启动

service keepalived start

6.查看keepalived网卡信息

ip addr

查看keepalived成功与否主要看

interface 对应的网卡（这里是em1）是否成功获取virtual\_ipaddress的值（重要！！！）

7.验证

主服务器新建页面 内容MASTER

备服务器新建页面 内容BACKUP

启动主备服务器http服务和keepalived服务

通过浏览器，输入虚拟IP地址

页面显示MASTER

关闭主服务器keepalived服务，刷新刚才虚拟IP地址

页面显示BACKUP

再次启动主服务器keepalived服务，再刷新刚才虚拟IP地址

页面显示MASTER

@上边所说的是服务器层的热备

@下边说说应用层的热备（web端口不通，nginx进程被意外kill情况下）

主要利用keepalived的track\_script检测脚本的原理实现的

@主要是在服务器层基础上实现应用层的热备

@主-MASTER

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  global\_defs \{    
2.         notification\_email \{    
3.            user@example.com   
4.         \}    
5.          
6.         notification\_email\_from mail@example.org  
7.         smtp\_server 192.168.200.1     
8.         smtp\_connect\_timeout 30    
9.         router\_id LVS\_DEVEL  
10. \}    
11.   
12. \#应用层热备需要添加的内容  
13. vrrp\_script chk\_http\_port \{  
14.         script "</dev/tcp/127.0.0.1/80"  
15.         interval 1 \#检测脚本执行的间隔  
16.         weight -2 \#权重  
17. \}  
18.         
19. vrrp\_instance VI\_1 \{  
20.         state MASTER    
21.         interface eth0  
22.         virtual\_router\_id 51   
23.         priority 101   
24.         advert\_int 1   
25.         mcast\_src\_ip 192.168.51.75    
26.         
27.         
28.         authentication \{    
29.             auth\_type PASS   
30.             auth\_pass 1111    
31.         \}    
32.         
33.         virtual\_ipaddress \{    
34.             192.168.51.199  
35.         \}  
36.           
37.         \#应用层热备需要添加的内容  
38.         track\_script \{  
39.             chk\_http\_port \#调用检测脚本  
40.         \}    
41. \}

@备-BACKUP

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  global\_defs \{    
2.         notification\_email \{    
3.            user@example.com   
4.         \}    
5.          
6.         notification\_email\_from mail@example.org  
7.         smtp\_server 192.168.200.1     
8.         smtp\_connect\_timeout 30    
9.         router\_id LVS\_DEVEL  
10. \}    
11.   
12. \#应用层热备需要添加的内容  
13. vrrp\_script chk\_http\_port \{  
14.         script "</dev/tcp/127.0.0.1/80"  
15.         interval 1 \#检测脚本执行的间隔  
16.         weight -2 \#权重  
17. \}  
18.         
19. vrrp\_instance VI\_1 \{  
20.         state MASTER    
21.         interface eth0  
22.         virtual\_router\_id 51   
23.         priority 100  
24.         advert\_int 1   
25.         mcast\_src\_ip 192.168.51.75    
26.         
27.         
28.         authentication \{    
29.             auth\_type PASS   
30.             auth\_pass 1111    
31.         \}    
32.         
33.         virtual\_ipaddress \{    
34.             192.168.51.199  
35.         \}  
36.           
37.         \#应用层热备需要添加的内容  
38.         track\_script \{  
39.             chk\_http\_port \#调用检测脚本  
40.         \}    
41. \}

@注意：这里你是不咋一看想说不对啊，怎么主与备的state都是MASTER

1）、为什么主备的参数state都是MASTER，这里的确要设置成一样的，不然实现不了我们想要的VIP漂浮效果，当state都设置成MASTER后，会根据

priority值的大小竞争上岗来决定谁是真正的MASTER，脚本检测就是在失败的时候把权重减去响应的值，这样priority的值就会变化，由于主备priority

初始值不同，所以权重始终不会出现相同的值。例如主的priority=101，如果脚本检测80端口无法连接，就会priority-2=99，99<备priority（100），此时

备就成为主。有点小绕。

**如何查看keepalived日志**

**tail -f /var/log/message**

***nginx监控脚本***

当nginx服务死掉，就关掉或者杀死keepalived进程。

nginx监控脚本我放置在 /usr/local/webserver/keepalived目录下边（随便放，我是为了好记！）

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \#!/bin/bash  
2.  while  :  
3.  do  
4.  nginxpid=\`ps -C nginx --no-header | wc -l\`  
5.   if \[ $nginxpid -eq 0 \];then  
6.    /usr/local/webserver/nginx/sbin/nginx  
7.    sleep 5  
8.  nginxpid=\`ps -C nginx --no-header | wc -l\`  
9.    echo $nginxpid  
10.     if \[ $nginxpid -eq 0 \];then  
11.  /etc/init.d/keepalived stop  
12.    fi  
13.  fi  
14.  sleep 5  
15. done

/etc/keepalived/keepalived.conf配置文件新增

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  vrrp\_script chk\_nginx \{  
2.          script "/usr/local/webserver/keepalived/check\_nginx.sh"  
3.          interval 1  
4.          weight -2  
5.  \}

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  track\_script \{  
2.      chk\_http\_port  
3.      chk\_nginx \#调用检测新增的脚本  
4.  \}

**ok**

[view plain]: http://blog.csdn.net/motian06/article/details/18000239#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/148132
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/148132/fork