Linux-HA开源软件Heartbeat（配置篇）

拼搏现实的明天。 2022-09-12 12:59 337阅读 0赞

**一、配置主节点的heartbeat**  
Heartbeat的主要配置文件有ha.cf、haresources、authkeys，在Heartbeat安装后，默认并没有这三个文件，可以 从官方网站下载得到，也可以直接从解压的源码目录中找到，在上面的安装过程中，我们已经将这三个文件放到了/etc/ha.d目录下，下面分别详细介绍。

1．主配置文件(/etc/ha.d/ha.cf)  
下面对ha.cf文件的每个选项进行详细介绍，其中“\#”号后面的内容是对选项的注释说明。  
\#debugfile /var/log/ha-debug  
logfile /var/log/ha-log \#指名heartbeat的日志存放位置。  
\#crm yes \#是否开启ClusterResource Manager（集群资源管理）功能。  
bcast eth1 \#指明心跳使用以太网广播方式，并且是在eth1接口上进行广播。  
keepalive 2 \#指定心跳间隔时间为2秒（即每两秒钟在eth1上发送一次广播）。  
deadtime 30 \#指定备用节点在30秒内没有收到主节点的心跳信号后，则立即接管主节点的服务资源。  
warntime 10 \#指定心跳延迟的时间为十秒。当10秒钟内备份节点不能接收到主节点的心跳信号时，就会往日志中写入一个警告日志，但此时不会切换服务。  
initdead 120 \#在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两倍。  
udpport 694 \#设置广播通信使用的端口，694为默认使用的端口号。  
baud 19200 \#设置串行通信的波特率。  
\#serial /dev/ttyS0 \#选择串行通信设备，用于双机使用串口线连接的情况。如果双机使用以太网连接，则应该关闭该选项。  
\#ucast eth0 192.168.1.2 \#采用网卡eth0的udp单播来组织心跳，后面跟的IP地址应为双机对方的IP地址。  
\#mcast eth0 225.0.0.1 694 1 0 \#采用网卡eth0的Udp多播来组织心跳，一般在备用节点不止一台时使用。Bcast、ucast和mcast分别代表广播、单播和多播，是组织心跳的三种方式，任选其一即可。  
auto\_failback on \#用来定义当主节点恢复后，是否将服务自动切回，heartbeat的两台主机分别为主节点和备份节点。主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代备份节点，如果该选项设置为off，那么当主节点恢复后，将变为备份节点，而原来的备份节点成为主节点。  
\#stonith baytech /etc/ha.d/conf/stonith.baytech \# stonith的主要作用是使出现问题的节点从集群环境中脱离，进而释放集群资源，避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。  
\#watchdog /dev/watchdog \#该选项是可选配置，是通过Heartbeat来监控系统的运行状态。使用该特性，需要在内核中载入"softdog"内核 模块，用来生成实际的设备文件，如果系统中没有这个内核模块，就需要指定此模块，重新编译内核。编译完成输入"insmod softdog"加载该模块。然后输入"grepmisc /proc/devices"(应为10)，输入"cat /proc/misc |grep watchdog"(应为130)。最后，生成设备文件："mknod /dev/watchdog c 10 130" 。即可使用此功能。  
node node1 \#主节点主机名，可以通过命令“uanme–n”查看。  
node node2 \#备用节点主机名。  
ping 192.168.60.1 \#选择ping的节点，ping 节点选择的越好，HA集群就越强壮，可以选择固定的路由器作为ping节点，但是最好不要选择集群中的成员作为ping节点，ping节点仅仅用来测试网络连接。

respawn hacluster /usr/lib/heartbeat/ipfail \#该选项是可选配置，列出与heartbeat一起启动和关闭的进程，该进程一般是和 heartbeat集成的插件，这些进程遇到故障可以自动重新启动。最常用的进程是ipfail，此进程用于检测和处理网络故障，需要配合ping语句指 定的ping node来检测网络的连通性。其中hacluster表示启动ipfail进程的身份。

2．资源文件(/etc/ha.d/haresources)  
Haresources文件用于指定双机系统的主节点、集群IP、子网掩码、广播地址以及启动的服务等集群资源，文件每一行可以包含一个或多个资源脚本名，资源之间使用空格隔开，参数之间使用两个冒号隔开，在两个HA节点上该文件必须完全一致，此文件的一般格式为：  
node-name network <resource-group>  
node-name表示主节点的主机名，必须和ha.cf文件中指定的节点名一致，network用于设定集群的IP地址、子网掩码、网络设备标识等，需 要注意的是，这里指定的IP地址就是集群对外服务的IP地址，resource-group用来指定需要heartbeat托管的服务，也就是这些服务可 以由heartbeat来启动和关闭，如果要托管这些服务，必须将服务写成可以通过start/stop来启动和关闭的脚步，然后放到/etc /init.d/或者/etc/ha.d/resource.d/目录下，heartbeat会根据脚本的名称自动去/etc/init.d或者/etc /ha.d/resource.d/目录下找到相应脚步进行启动或关闭操作。  
下面对配置方法进行具体说明：  
node1 IPaddr::192.168.60.200/24/eth0/ Filesystem::/dev/sdb5::/webdata::ext3 httpd tomcat  
其中，node1是HA集群的主节点，IPaddr为heartbeat自带的一个执行脚步，heartbeat首先将执行/etc/ha.d /resource.d/IPaddr192.168.60.200/24 start的操作，也就是虚拟出一个子网掩码为255.255.255.0，IP为192.168.60.200的地址，此IP为heartbeat对外 提供服务的网络地址，同时指定此IP使用的网络接口为eth0，接着，heartbeat将执行共享磁盘分区的挂载操作，“Filesystem::/dev/sdb5::/webdata::ext3”相当于在命令行下执行mount操作，即“mount –t ext3 /dev/sdb5 /webdata”，最后依次启动httpd和tomcat服务。  
注意：主节点和备份节点中资源文件haresources要完全一样。

3．认证文件(/etc/ha.d/authkeys)  
authkeys文件用于设定heartbeat的认证方式，共有三种可用的认证方式：crc、md5和sha1，三种认证方式的安全性依次提高，但是占用的系统资源也依次增加。如果heartbeat集群运行在安全的网络上，可以使用crc方式，如果HA每个节点的硬件配置很高，建议使用sha1，这种 认证方式安全级别最高，如果是处于网络安全和系统资源之间，可以使用md5认证方式。这里我们使用crc认证方式，设置如下：  
auth 1  
1 crc  
\#2 sha1 sha1\_any\_password  
\#3 md5 md5\_any\_password  
需要说明的一点是：无论auth后面指定的是什么数字，在下一行必须作为关键字再次出现，例如指定了“auth 6”，下面一定要有一行“6 认证类型”。  
最后确保这个文件的权限是600（即-rw-------）。

**二、 配置备份节点的heartbeat**  
 在备份节点上也需要安装heartbeat，安装方式与在主节点安装过程一样，这里不再重述，依次安装libnet和heartbeat源码包，安装完毕，在备份节点上使用scp命令把主节点配置文件传输到备份节点。  
\[root@node2 ~\]\#scp –r node1:/etc/ha.d/\* /etc/ha.d/  
其中，node1是主节点的主机名。

**三、设置主节点和备份节点时间同步**  
在双机高可用集群中，主节点和备份节点的系统时间也非常重要，因为节点之间的监控都是通过设定时间来实现的，主备节点之间的系统时间相差在十秒以内是正常的，如果节点之间时间相差太大，就有可能造成HA环境的故障。解决时间同步的办法有两个，一个是找一个时间服务器，两个节点通过 ntpdate命令定时与时间服务器进行时间校准，另一个办法是让集群中的主节点作为ntp时间服务器，让备份节点定时去主节点进行时间校验。

**四、 启动Heartbeat**  
1．启动主节点的Heartbeat  
Heartbeat安装完成后，自动在/etc/init.d目录下生成了启动脚步文件heartbeat，直接输入/etc/init.d/heartbeat可以看到heartbeat脚本的用法，如下所示：  
\[root@node1 ~\]\# /etc/init.d/heartbeat  
Usage: /etc/init.d/heartbeat \{start|stop|status|restart|reload|force-reload\}  
因而启动heartbeat可以通过如下命令进行：  
\[root@node1 ~\]\#service heartbeat start  
或者通过  
\[root@node1 ~\]\#/etc/init.d/heartbeat start  
这样就启动了主节点的heartbeat服务，为了让heartbeat能在开机自动运行以及关机自动关闭，可以手动创建以下软连接：  
\[root@node1 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc0.d/K05heartbeat  
\[root@node1 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc3.d/S75heartbeat  
\[root@node1 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc5.d/S75heartbeat  
\[root@node1 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc6.d/K05heartbeat  
Heartbeat启动时，通过“tail –f /var/log/ messages”查看主节点系统日志信息，输出如下：  
\[root@node1 ~\]\# tail -f /var/log/messages  
Nov 26 07:52:21 node1 heartbeat: \[3688\]: info: Configuration validated.Starting heartbeat 2.0.8  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: heartbeat: version 2.0.8  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: Heartbeat generation: 3  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: G\_main\_add\_TriggerHandler: Addedsignal manual handler  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: G\_main\_add\_TriggerHandler: Addedsignal manual handler  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: glib: UDP Broadcast heartbeatstarted on port 694 (694) interface eth1  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: glib: UDP Broadcast heartbeatclosed on port 694 interface eth1 - Status: 1  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: glib: ping heartbeat started.  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: G\_main\_add\_SignalHandler: Addedsignal handler for signal 17  
Nov 26 07:52:21 node1 heartbeat: \[3689\]: info: Local status now set to: 'up'  
Nov 26 07:52:22 node1 heartbeat: \[3689\]: info: Link node1:eth1 up.  
Nov 26 07:52:23 node1 heartbeat: \[3689\]: info: Link 192.168.60.1:192.168.60.1up.  
Nov 26 07:52:23 node1 heartbeat: \[3689\]: info: Status update for node192.168.60.1: status ping  
此段日志是Heartbeat在进行初始化配置，例如，heartbeat的心跳时间间隔、UDP广播端口、ping节点的运行状态等，日志信息到这里会 暂停，等待120秒之后，heartbeat会继续输出日志，而这个120秒刚好是ha.cf中“initdead”选项的设定时间。此时 heartbeat的输出信息如下：  
Nov 26 07:54:22 node1 heartbeat: \[3689\]: WARN: node node2: is dead  
Nov 26 07:54:22 node1 heartbeat: \[3689\]: info: Comm\_now\_up(): updating statusto active  
Nov 26 07:54:22 node1 heartbeat: \[3689\]: info: Local status now set to:'active'  
Nov 26 07:54:22 node1 heartbeat: \[3689\]: info: Starting child client"/usr/lib/heartbeat/ipfail" (694,694)  
Nov 26 07:54:22 node1 heartbeat: \[3689\]: WARN: No STONITH device configured.  
Nov 26 07:54:22 node1 heartbeat: \[3689\]: WARN: Shared disks are not protected.  
Nov 26 07:54:22 node1 heartbeat: \[3689\]: info: Resources being acquired fromnode2.  
Nov 26 07:54:22 node1 heartbeat: \[3712\]: info: Starting"/usr/lib/heartbeat/ipfail" as uid 694 gid 694 (pid 3712)  
在上面这段日志中，由于node2还没有启动，所以会给出“node2:is dead”的警告信息，接下来启动了heartbeat插件ipfail，由于我们在ha.cf文件中没有配置STONITH，所以日志里也给出了“No STONITH device configured”的警告提示。  
继续看下面的日志：  
Nov 26 07:54:23 node1 harc\[3713\]: info: Running /etc/ha.d/rc.d/status status  
Nov 26 07:54:23 node1 mach\_down\[3735\]: info: /usr/lib/heartbeat/mach\_down:nice\_failback: foreign resources acquired  
Nov 26 07:54:23 node1 mach\_down\[3735\]: info: mach\_down takeover complete fornode node2.  
Nov 26 07:54:23 node1 heartbeat: \[3689\]: info: mach\_down takeover complete.  
Nov 26 07:54:23 node1 heartbeat: \[3689\]: info: Initial resource acquisitioncomplete (mach\_down)  
Nov 26 07:54:24 node1 IPaddr\[3768\]: INFO: Resource is stopped  
Nov 26 07:54:24 node1 heartbeat: \[3714\]: info: Local Resource acquisitioncompleted.  
Nov 26 07:54:24 node1 harc\[3815\]: info: Running /etc/ha.d/rc.d/ip-request-respip-request-resp  
Nov 26 07:54:24 node1 ip-request-resp\[3815\]: received ip-request-resp192.168.60.200/24/eth0 OK yes  
Nov 26 07:54:24 node1 ResourceManager\[3830\]: info: Acquiring resource group:node1 192.168.60.200/24/eth0 Filesystem::/dev/sdb5::/webdata::ext3  
Nov 26 07:54:24 node1 IPaddr\[3854\]: INFO: Resource is stopped  
Nov 26 07:54:25 node1 ResourceManager\[3830\]: info: Running/etc/ha.d/resource.d/IPaddr 192.168.60.200/24/eth0 start  
Nov 26 07:54:25 node1 IPaddr\[3932\]: INFO: Using calculated netmask for192.168.60.200: 255.255.255.0  
Nov 26 07:54:25 node1 IPaddr\[3932\]: DEBUG: Using calculated broadcast for192.168.60.200: 192.168.60.255  
Nov 26 07:54:25 node1 IPaddr\[3932\]: INFO: eval /sbin/ifconfig eth0:0192.168.60.200 netmask 255.255.255.0 broadcast 192.168.60.255  
Nov 26 07:54:25 node1 avahi-daemon\[1854\]: Registering new address record for192.168.60.200 on eth0.  
Nov 26 07:54:25 node1 IPaddr\[3932\]: DEBUG: Sending Gratuitous Arp for192.168.60.200 on eth0:0 \[eth0\]  
Nov 26 07:54:26 node1 IPaddr\[3911\]: INFO: Success  
Nov 26 07:54:26 node1 Filesystem\[4021\]: INFO: Resource is stopped  
Nov 26 07:54:26 node1 ResourceManager\[3830\]: info: Running/etc/ha.d/resource.d/Filesystem /dev/sdb5 /webdata ext3 start  
Nov 26 07:54:26 node1 Filesystem\[4062\]: INFO: Running start for /dev/sdb5 on/webdata  
Nov 26 07:54:26 node1 kernel: kjournald starting. Commit interval 5seconds  
Nov 26 07:54:26 node1 kernel: EXT3 FS on sdb5, internal journal  
Nov 26 07:54:26 node1 kernel: EXT3-fs: mounted filesystem with ordered datamode.  
Nov 26 07:54:26 node1 Filesystem\[4059\]: INFO: Success  
Nov 26 07:54:33 node1 heartbeat: \[3689\]: info: Local Resource acquisitioncompleted. (none)  
Nov 26 07:54:33 node1 heartbeat: \[3689\]: info: local resource transitioncompleted  
上面这段日志是进行资源的监控和接管，主要完成haresources文件中的设置，在这里是启用集群虚拟IP和挂载磁盘分区。  
此时，通过ifconfig命令查看主节点的网络配置，可以看到，主节点已经自动绑定了集群的IP地址，在HA集群之外的主机上通过ping命令检测集群IP地址192.168.60.200，已经处于可通状态，也就是该地址变的可用。  
同时查看磁盘分区的挂载情况，共享磁盘分区/dev/sdb5已经被自动挂载。

2．启动备份节点的Heartbeat  
启动备份节点的Heartbeat，与主节点方法一样，使用如下命令：  
\[root@node2 ~\]\#/etc/init.d/heartbeat start  
或者执行  
\[root@node2 ~\]\#service heartbeat start  
这样就启动了备用节点的heartbeat服务，为了让heartbeat能在开机自动运行以及关机自动关闭， 创建以下软连接：  
\[root@node2 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc0.d/K05heartbeat  
\[root@node2 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc3.d/S75heartbeat  
\[root@node2 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc5.d/S75heartbeat  
\[root@node2 ~\]\#ln -s /etc/init.d/heartbeat /etc/rc.d/rc6.d/K05heartbeat  
备用节点的heartbeat日志输出信息与主节点相对应，通过“tail-f /var/log/messages”可以看到如下输出：  
Nov 26 07:57:15 node2 heartbeat: \[2110\]: info: Link node1:eth1 up.  
Nov 26 07:57:15 node2 heartbeat: \[2110\]: info: Status update for node node1:status active  
Nov 26 07:57:15 node2 heartbeat: \[2110\]: info: Link node1:eth0 up.  
Nov 26 07:57:15 node2 harc\[2123\]: info: Running /etc/ha.d/rc.d/status status  
Nov 26 07:57:15 node2 heartbeat: \[2110\]: info: Comm\_now\_up(): updating statusto active  
Nov 26 07:57:15 node2 heartbeat: \[2110\]: info: Local status now set to:'active'  
Nov 26 07:57:15 node2 heartbeat: \[2110\]: info: Starting child client"/usr/lib/heartbeat/ipfail" (694,694)  
Nov 26 07:57:15 node2 heartbeat: \[2110\]: WARN: G\_CH\_dispatch\_int: Dispatchfunction for read child took too long to execute: 70 ms (> 50 ms) (GSource:0x8f62080)  
Nov 26 07:57:15 node2 heartbeat: \[2134\]: info: Starting"/usr/lib/heartbeat/ipfail" as uid 694 gid 694 (pid2134)  
备份节点检测到node1处于活动状态，没有可以接管的资源，因此，仅仅启动了网络监听插件ipfail，监控主节点的心跳。