Mysql 之 MHA架构集群部署

ゞ浴缸里的玫瑰 2023-02-11 03:28 1阅读 0赞

# 环境 #

注意，系统版本对安装MHA有影响

`OS：三台 CentOS Linux release 7.3.1611 (Core)`

`mysql： mysql Ver 14.14 Distrib 5.7.12, for Linux (x86_64)`

`MHA： mha4mysql-0.58`

## 服务器信息 ##

10.150.132.103	VIP
    
    10.150.132.100  master
    10.150.132.101  slave
    10.150.132.102	slave -- manager

## 关闭SeLinux ##

`setenforce 0`

## 关闭防火墙 ##

`systemctl stop firewalld.service`

## ssh互信 ##

### 1.所有节点操作 ###

cd /root/.ssh/
    ssh-keygen -t dsa -P '' -f id_dsa
    cat id_dsa.pub >> authorized_keys

### 2.将从库密钥发送到主库，并合并密钥，之后将合并的密钥发送到从库 ###

scp 10.150.132.101:/root/.ssh/authorized_keys ./authorized_keys.3
    scp 10.150.132.102:/root/.ssh/authorized_keys ./authorized_keys.4
    
    cat authorized_keys.3 >> authorized_keys
    cat authorized_keys.4 >> authorized_keys
    
    scp authorized_keys 10.150.132.101:/root/.ssh/
    scp authorized_keys 10.150.132.102:/root/.ssh/

### 3.使用ssh ip可以不输入密码直接登陆到目标服务器 ###

完成互信

## 主从复制配置 ##

前提是已经安装好mysql 5.7

### **1.配置文件信息,在原有的配置上加上这些就好，配置完之后要重启服务** ###

[client]
    user=root
    password=123456
    
    [mysqld]
    #每个server上不一致，只需要在其他服务器上复制这些并修改server-id为不同数字即可
    server-id = 3
    #read-only=1 #不在配置文件中限定只读，但是要记得在slave上限制只读
    
    #mysql5.6已上的特性，开启gtid，必须主从全开
    gtid_mode = on
    enforce_gtid_consistency = 1
    log_slave_updates = 1
    
    #开启半同步复制 否则自动切换主从的时候会报主键错误
    plugin_load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"
    loose_rpl_semi_sync_master_enabled = 1
    loose_rpl_semi_sync_slave_enabled = 1
    loose_rpl_semi_sync_master_timeout = 5000
    
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    #忽略哪些表
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=test.%
    replicate-wild-ignore-table=information_schema.%

### **2.在3个mysql节点都做授权(主从复制授权)** ###

mysql> grant replication slave on *.* to 'repl_user'@'10.150.132.%' identified by '123456';
    mysql> grant all on *.* to 'root'@'10.150.132.%' identified by '123456';

### **3.在两个salve节点上执行，只读限制（防止意外被写数据，很重要）** ###

mysql> set global read_only=1;

### **4.在主master上查看状态** ###

mysql> show master status;

记录File信息和Position信息，待会slave节点需要。

### **5.在两个slave节点执行同步操作** ###

mysql> stop slave;
    # master_log_file填写File信息，master_log_pos填写position信息
    mysql> change master to master_host='10.150.132.100',master_user='repl_user',master_password='123456',master_log_file='mysql-bin.000002',master_log_pos=744;
    mysql> start slave;
    
    #查看slave IO和slave sql是否都正常
    mysql> show slave status\G; 
    
    #结果显示中查找下面显示
    #Slave_IO_Running: Yes
    #Slave_SQL_Running: Yes

## 安装MHA软件 ##

### **1.安装MHA的node软件** ###

**（在三个节点上都装mha的node软件）**

#安装依赖
    wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
    rpm -ivh epel-release-latest-7.noarch.rpm
    yum install -y perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager
    
    #下载MHA的node软件
    wget https://qiniu.wsfnk.com/mha4mysql-node-0.58-0.el7.centos.noarch.rpm
    rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm

### 2.只在manager节点安装mha的管理软件 ###

wget https://qiniu.wsfnk.com/mha4mysql-manager-0.58-0.el7.centos.noarch.rpm
    rpm -ivh mha4mysql-manager-0.58-0.el7.centos.noarch.rpm

### 3.安装mail，支持发送邮件(可选) ###

yum install mailx -y

## 配置MHA ##

只在manager节点配置

### 1.创建脚本目录 ###

`mkdir -p /etc/mha/scripts`

### 2.配置全局配置文件，也可以和主配置文件写到一起。不过会显示找不到全局配置文件。这里分开写了。 ###

`vi /etc/masterha_default.cnf`

[server default]
    #管理账号
    user=root
    password=123456
    #ssh账号
    ssh_user=root
    #复制账号
    repl_user=repl_user
    repl_password=123456
    ping_interval=1
    secondary_check_script=masterha_secondary_check -s 10.150.132.100 -s 10.150.132.101 -s 10.150.132.102
    master_ip_failover_script="/etc/mha/scripts/master_ip_failover"
    master_ip_online_change_script="/etc/mha/scripts/master_ip_online_change"
    #这里是发送邮件脚本，如果没有，可注释掉
    report_script="/etc/mha/scripts/send_report"

### 3.配置主配置文件 ###

`vi /etc/mha/app1.cnf`

[server default]
    #目录后面会创建的
    manager_log=/var/log/mha/app1/manager.log
    manager_workdir=/var/log/mha/app1
    
    [server1]
    #master备选服务器
    candidate_master=1
    hostname=10.150.132.100
    master_binlog_dir="/opt/mysql/data"
    #查看方式　find / -name mysql-bin*
    
    [server2]
    candidate_master=1
    hostname=10.150.132.101
    master_binlog_dir="/opt/mysql/data"
    
    [server3]
    hostname=10.150.132.102
    master_binlog_dir="/opt/mysql/data"
    #没有机会成为master，MHA的manager不能是master
    no_master=1

### 4.配置VIP，服务器切换脚本 ###

`vi /etc/mha/scripts/master_ip_failover`

# 将脚本复制，修改VIP地址和网卡即可
    #!/usr/bin/env perl
    use strict;
    use warnings FATAL => 'all';
    use Getopt::Long;
    
    my (
            $command,   $ssh_user,  $orig_master_host,
            $orig_master_ip,$orig_master_port, $new_master_host, $new_master_ip,$new_master_port
    );
    
    #定义VIP变量
    my $vip = '10.150.132.103/24';
    my $key = '1';
    #这里修改网卡enp0s3
    my $device='enp0s3';
    
    #my $ssh_start_vip = "/sbin/ifconfig enp0s3:$key $vip"; 
    #my $ssh_stop_vip = "/sbin/ifconfig enp0s3:$key down";
    
    my $ssh_start_vip = "/usr/sbin/ip addr add $vip dev $device";	
    my $ssh_stop_vip = "/usr/sbin/ip addr del $vip dev $device";
    
    GetOptions(
            'command=s'     => \$command,
            'ssh_user=s'        => \$ssh_user,
            'orig_master_host=s'    => \$orig_master_host,
            'orig_master_ip=s'  => \$orig_master_ip,
            'orig_master_port=i'    => \$orig_master_port,
            'new_master_host=s' => \$new_master_host,
            'new_master_ip=s'   => \$new_master_ip,
            'new_master_port=i' => \$new_master_port,
    );
    
    exit &main();
    
    sub main { 
            print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
            if ( $command eq "stop" || $command eq "stopssh" ) { 
                    my $exit_code = 1;
                    eval { 
                            print "Disabling the VIP on old master: $orig_master_host \n";
                            &stop_vip();
                            $exit_code = 0;
                    };
                    if ($@) { 
                            warn "Got Error: $@\n";
                            exit $exit_code;
                    }
                    exit $exit_code;
            }
    
            elsif ( $command eq "start" ) { 
            my $exit_code = 10;
            eval { 
                    print "Enabling the VIP - $vip on the new master - $new_master_host \n";
                    &start_vip();
                    $exit_code = 0;
            };
    
            if ($@) { 
                    warn $@;
                    exit $exit_code;
                     }
            exit $exit_code;
            }
    
            elsif ( $command eq "status" ) { 
                    print "Checking the Status of the script.. OK \n";
                    exit 0;
            }
            else { 
                    &usage();
                    exit 1;
            }
    }
    
    sub start_vip() { 
            `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
    }
    sub stop_vip() { 
            return 0 unless ($ssh_user);
            `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
    }
    
    sub usage { 
            print
            "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
    }

### 5.配置警告脚本(邮件通知，可选) ###

`vi /etc/mail.rc`

##文件最后面添加如下信息，这个邮件信息就是未来服务器出现故障，使用这个邮箱发送给你指定的邮箱。
    set from=test1@qq.com      #发件人的邮箱
    set smtp="smtp.qq.com"                  #smtp服务器地址
    set smtp-auth-user="test1@qq.com"          #发件人的邮箱地址
    set smtp-auth-password="43215435safdsf"       #发件人的邮箱smtp授权码，可百度查找如何获取
    set smtp-auth=login                             #login登录

`vi /etc/mha/scripts/send_report`

##复制脚本内容，修改收件人地址。当服务器出现问题，会发邮件到这个邮箱
    
    #!/bin/bash
    source /root/.bash_profile
    # 解析变量
    orig_master_host=`echo "$1" | awk -F = '{print $2}'`
    new_master_host=`echo "$2" | awk -F = '{print $2}'`
    new_slave_hosts=`echo "$3" | awk -F = '{print $2}'`
    subject=`echo "$4" | awk -F = '{print $2}'`
    body=`echo "$5" | awk -F = '{print $2}'`
    #定义收件人地址
    email="test@qq.com"
    
    tac /var/log/mha/app1/manager.log | sed -n 2p | grep 'successfully' > /dev/null
    if [ $? -eq 0 ]
            then
            messages=`echo -e "MHA $subject 主从切换成功\n master:$orig_master_host --> $new_master_host \n $body \n 当前从库:$new_slave_hosts"`
            echo "$messages" | mail -s "Mysql 实例宕掉，MHA $subject 切换成功" $email >>/tmp/mailx.log 2>&1
            else
            messages=`echo -e "MHA $subject 主从切换失败\n master:$orig_master_host --> $new_master_host \n $body" `
            echo "$messages" | mail -s ""Mysql 实例宕掉，MHA $subject 切换失败"" $email >>/tmp/mailx.log 2>&1
    fi

重启mail服务

systemctl restart postfix.service 	 #重启服务

### 6.配置VIP脚本 ###

`vi /etc/mha/scripts/master_ip_online_change`

# 将脚本复制，修改VIP地址和网卡即可
    
    #!/bin/bash
    source /root/.bash_profile
    
    vip=`echo '10.150.132.103/24'`  #设置VIP
    key=`echo '1'`
    
    #如何查看可用网卡： ip a
    device=`echo 'enp0s3'`		#设置网卡
    
    command=`echo "$1" | awk -F = '{print $2}'`
    orig_master_host=`echo "$2" | awk -F = '{print $2}'`
    new_master_host=`echo "$7" | awk -F = '{print $2}'`
    orig_master_ssh_user=`echo "${12}" | awk -F = '{print $2}'`
    new_master_ssh_user=`echo "${13}" | awk -F = '{print $2}'`
    
    #要求服务的网卡识别名一样，都为enp0s3(这里是)
    #如果不支持ifconfig，可以使用ip
    #stop_vip=`echo "ssh root@$orig_master_host /usr/sbin/ifconfig enp0s3:$key down"`
    #start_vip=`echo "ssh root@$new_master_host /usr/sbin/ifconfig enp0s3:$key $vip"`
    
    stop_vip=`echo "ssh root@$orig_master_host /usr/sbin/ip addr del $vip dev $device"`
    start_vip=`echo "ssh root@$new_master_host /usr/sbin/ip addr add $vip dev $device"`
    
    if [ $command = 'stop' ]
      then
            echo -e "\n\n\n****************************\n"
            echo -e "Disabled thi VIP - $vip on old master: $orig_master_host \n"
            $stop_vip
            if [ $? -eq 0 ]
              then
            echo "Disabled the VIP successfully"
              else
            echo "Disabled the VIP failed"
            fi
            echo -e "***************************\n\n\n"
      fi
    
    if [ $command = 'start' -o $command = 'status' ]
      then
            echo -e "\n\n\n*************************\n"
            echo -e "Enabling the VIP - $vip on new master: $new_master_host \n"
            $start_vip
            if [ $? -eq 0 ]
              then
            echo "Enabled the VIP successfully"
              else
            echo "Enabled the VIP failed"
            fi
            echo -e "***************************\n\n\n"
    fi

### 7.脚本添加执行权限 ###

chmod +x /etc/mha/scripts/master_ip_failover 
    chmod +x /etc/mha/scripts/master_ip_online_change 
    chmod +x /etc/mha/scripts/send_report

### 8.通过 masterha\_check\_ssh 验证 ssh 信任登录是否成功 ###

`masterha_check_ssh --conf=/etc/mha/app1.cnf`

结果：

[info] All SSH connection tests passed successfully.

### 9.通过 masterha\_check\_repl 验证 mysql 主从复制是否成功(下面输出表示测试通过) ###

`masterha_check_repl --conf=/etc/mha/app1.cnf`

结果：

MySQL Replication Health is OK.

如果系统版本和软件版本都对，按照上面步骤执行不会有问题。如果不行报错，下面链接可以帮助你快速找到解决方法，虽然我试了没用，没准你有用呢？

https://blog.csdn.net/q936889811/article/details/80077344
    https://my.oschina.net/gibsonxue/blog/1575939
    https://blog.51cto.com/13805636/2301083
    https://www.cnblogs.com/polestar/p/5371080.html
    https://blog.51cto.com/arthur376/1812640
    
    总结：
    所有的错误都是系统和软甲版本的问题。

## 启动MHA ##

### 1.在master上绑定VIP(只需要绑定一次即可) ###

`ip addr add 10.150.132.103/24 dev enp0s3`

### 2.然后通过 masterha\_manager 启动 MHA 监控(在manager角色上执行) ###

#创建日志目录
    mkdir /var/log/mha/app1 -p
    touch /var/log/mha/app1/manager.log
    
    #启动mha监控
    nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
    
    #这样 MHA 的日志保存在/var/log/mha/app1/manager.log 下
    tailf /var/log/masterha/app1/manager.log
    
    #如果最后一行是如下，表明启动成功
    [info] Ping(SELECT) succeeded, waiting until MySQL doesn’t respond..

### 3.检查集群状态 ###

masterha_check_status --conf=/etc/mha/app1.cnf

## 测试 ##

### 自动切换 ###

模拟master宕机了

第一：要实现自动 Failover,必须先启动 MHA Manager,否则无法自动切换
        A、杀掉主库 mysql 进程,模拟主库发生故障,进行自动 failover 操作。
        B、看 MHA 切换日志,了解整个切换过程
        
        tailf /var/log/mha/app1/manager.log
        killall mysqld
    
    第二：从上面的输出可以看出整个 MHA 的切换过程,共包括以下的步骤：
        1).配置文件检查阶段,这个阶段会检查整个集群配置文件配置
        2).宕机的 master 处理,这个阶段包括虚拟 ip 摘除操作,主机关机操作（由于没有定义power_manager脚本，不会关机）
        3).复制 dead maste 和最新 slave 相差的 relay log,并保存到 MHA Manger 具体的目录下
        4).识别含有最新更新的 slave
        5).应用从 master 保存的二进制日志事件(binlog events)（这点信息对于将故障master修复后加入集群很重要）
        6).提升一个 slave 为新的 master 进行复制
        7).使其他的 slave 连接新的 master 进行复制
    
    第三：切换完成后,关注如下变化:
        1、vip 自动从原来的 master 切换到新的 master,同时,manager 节点的监控进程自动退出。
        2、在日志目录(/var/log/mha/app1)产生一个 app1.failover.complete 文件
        3、/etc/mha/app1.cnf 配置文件中原来老的 master 配置被删除。

### 在线切换(用于硬件升级) ###

#MHA 在线切换是 MHA 除了自动监控切换换提供的另外一种方式,多用于诸如硬件升级，MySQL 数据库迁移等等。该方式提供快速切换和优雅的阻塞写入,无需关闭原有服务器，整个切换过程在 0.5-2s 的时间左右,大大减少了停机时间
    
    第一：注意点：前提，mha监控没有运行的情况下，才能进行
        A、老master上的vip已经正确生效了
        B、各个salve节点数据库的sql_IO和sql_sql进程都正常（即YES)
            show slave status\G;
        C、MHA脚本不能运行，若已处于监控状态，需要停掉它
            masterha_stop --conf=/etc/mha/app1.cnf
    
        #若是mha监控进程在运行，会报如下错误
    Sat May 19 03:40:00 2018 - [error][/usr/share/perl5/vendor_perl/MHA/MasterRotate.pm, ln143] Getting advisory lock failed on the current master. MHA Monitor runs on the current master. Stop MHA Manager/Monitor and try again.
    Sat May 19 03:40:00 2018 - [error][/usr/share/perl5/vendor_perl/MHA/ManagerUtil.pm, ln177] Got ERROR:  at /usr/bin/masterha_master_switch line 53.
    
    第二：执行切换
        #需要填写新的master的IP
        masterha_master_switch --conf=/etc/mha/app1.cnf --master_state=alive --new_master_host=10.150.132.101 --orig_master_is_new_slave --running_updates_limit=10000 --interactive=0
    
    第三：MHA 在线切换基本步骤：
        a、检测 MHA 配置置及确认当前 master
        b、决定新的 master
        c、阻塞写入到当前 master
        d、等待所有从服务器与现有 master 完成同步
        e、在新 master 授予写权限,以及并行切换从库
        f、重置原 master 为新 master 的 slave
        g、在线切换不会删除/etc/mha/app1.cnf 配置文件中原来老的 master 配置

### 如何将故障点重新加入集群 ###

通常情况下自动切换以后,原 master 可能已经废弃掉,待原 master 主机修复后,如果数据完整的情况下,可能想把原来 master 重新作为新主库的 slave,这时我们可以借助当时自动切换时刻的 MHA 日志来完成对原 master 的修复

(1)、修改 manager 配置文件（只针对自动切换的，在线切换不会删除配置）
        #将如下内容添加到/etc/mha/app1.conf 中
        [server1]
        hostname=10.150.132.100
        candidate_master=1
        master_binlog_dir="/opt/mysql/data"
    
    (2)、修复老的 master,然后设置为 slave
        从自动切换时刻的 MHA 日志上可以发现类似如下信息：
        cat /var/log/mha/app1/manager.log
    
    	[info]  All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='10.150.132.101', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl_user', MASTER_PASSWORD='xxx';
    	#意思是说,如果 Master 主机修复好了,可以在修复好后的 Master 上执行 CHANGE MASTER操作,作为新的 slave 库。
    
    	在老的 master 执行如下命令:(具体执行哪条，根据上面输出来确定)
        mysql> CHANGE MASTER TO MASTER_HOST='10.150.132.101', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl_user', MASTER_PASSWORD='123456';
    
        mysql> start slave;
        mysql> show slave status\G;
    
        #这样,数据就开始同步到老的 master 上了。此时老的 master 已经重新加入集群,变成 mha集群中的一个 slave 角色了。
    
    (3)、在 manger 节点上重新启动监控进程
        nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

本文参考文章：

https://blog.csdn.net/weixin\_44297303/article/details/100854872

https://boke.wsfnk.com/archives/537.html