MySQL5.7 MGR 集群搭建

川长思鸟来 2022-10-07 05:42 147阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70][]

**MGR 介绍**

MGR 集群简介：  
        MySQL Group Replication（简称 MGR）是 MySQL 官方于 2016 年 12 月推出的一个全新的高可用与高扩展的解决方案。MySQL 组复制提供了高可用、高扩展、高可靠的 MySQL 集群服务。

MGR 的特点：

*  高一致性，基于原生复制及 paxos 协议的组复制技术，并以插件的方式提供，提供一致数据安全保证；
 *  What's Group Replication（什么是组复制？）
 *  先说主从复制，一主多从，主库提供读写功能，从库提供写功能。当一个事务在 master 提交成功时，会把 binlog 文件同步到从库服务器上落地为 relay log 给 slave 端执行，这个过程主库是不考虑从
 *  库是否有接收到 binlog 文件，有可能出现这种情况，当主库 commit 一个事务后，数据库发生宕机，刚好它的 binlog 还没来得及传送到 slave 端，这个时候选任何一个 slave 端都会丢失这个事务，造成数据不一致情况。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1][]

*  为了避免出现主从数据不一致的情况，MySQL 引入了半同步复制，添加多了一个从库反馈机制，这个有两种方式设置：
 *  主库执行完事务后，同步 binlog 给从库，从库 ack 反馈接收到 binlog，主库提交 commit，反馈给客户端，释放会话；
 *  主库执行完事务后，主库提交 commit ，同步 binlog 给从库，从库 ack 反馈接收到 binlog，反馈给客户端，释放会话；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2][]

*  但是，问题来了，虽然满足了一主多从，读写分离，数据一致，但是，依旧有两个弊端：  
    写操作集中在 MASTER 服务器上；  
    MASTER 宕机后，需要人为选择新主并重新给其他的 slave 端执行 change master（可自行写第三方工具实现，但是 mysql 的复制就是没提供，所以也算是弊端）于是，官方于 2016 年 12 月 12 日正式发布了 MySQL Group Replication   
    那么，MySQL Group Replication 可以提供哪些功能呢？  
    **1. 多主**，在同一个 group 里边的所有实例，每一个实例可以执行写操作，也就是每个实例都执行Read-Write需要注意的是，多主情况下，当执行一个事务时，需要确保同个组内的每个实例都认可这个事无冲突异常，才可以 commit，如果设置的是单主，其他实例 ReadOnly，则不需要进行上面的判断多主情况下，事务并发冲突问题就凸显出来了，如何避免呢？数据库内部有一个认证程序，当不同实例并发对同一行发起修改，在同个组内广播认可时，会出现并发冲突，那么会按照先执行的提交，后执行的回滚  
    **2. 弹性，**同个 Group Replication 中，节点的加入或者移除都是自动调整；如果新加入一个节点，该节点会自动从 Group 的其他节点同步数据，直到与其他节点一致；如果移除一个节点，那么剩下的实例会自动更新，不再向这个节点广播事务操作，当然，这里要注意，假设一个 Group 的节点有 n 个（max(n)=9，同个 Group 最多节点数为 9），移除或者宕机的节点数应该小于等于 floor((n1)/2) ，注意向下取整；如果是单主模式，宕机的是单主，则人为选择新主后，其他节点也会自动从新主同步数据。  
    **3. 更高性能的同步机制**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3][]

*  一个复制组由若干个节点(数据库实例)组成，组内各个节点维护各自的数据副本(Share Nothing)，通过一致性协议实现原子消息和全局有序消息，来实现组内实例数据的一致。  
    扩展：paxos 协议  
    Paxos 用于解决分布式系统中一致性问题。分布式一致性算法（Consensus Algorithm）是一个分布式计算领域的基础性问题，其最基本的功能是为了在多个进程之间对某个（某些）值达成一致（强一  
    致）；简单来说就是确定一个值，一旦被写入就不可改变。paxos 用来实现多节点写入来完成一件事情，例如 mysql 主从也是一种方案，但这种方案有个致命的缺陷，如果主库挂了会直接影响业务，导致业务不可写，从而影响整个系统的高可用性。
 *  paxos 协议只是一个协议，不是具体的一套解决方案。目的是解决多节点写入问题。
 *  **paxos 协议用来解决的问题可以用一句话来简化：**
 *  1、将所有节点都写入同一个值，且被写入后不再更改。  
    2、高容错性，只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优先原则进行处理，并且内置了自动化脑裂防护机制；  
    3、高扩展性，节点的新增和移除都是自动的，新节点加入后，会自动从其他节点上同步状态，直到新节点和其他节点保持一致，如果某节点被移除了，其他节点自动更新组信息，自动维护新的组信息；  
    4、高灵活性，有单主模式和多主模式，单主模式下，会自动选主，所有更新操作都在主上进行；多主模式下，所有 server 都可以同时处理更新操作。  
    MGR 是 MySQL 数据库未来发展的一个重要方向。  
    小结：高一致性，高容错性，高扩展性，高灵活性
 *  MGR 基础结构要求  
    1）引擎必须为 innodb，因为需事务支持在 commit 时对各节点进行冲突检查  
    2）每个表必须有主键，在进行事务冲突检测时需要利用主键值对比  
    3）必须开启 binlog 且为 row 格式  
    4）开启 GTID，且主从状态信息存于表中（--master-info-repository=TABLE 、--relay-loginfo-repository=TABLE），--log-slave-updates 必须打开  
    **什么是 GTID？**  
    GTID(Global Transaction ID)是对于一个已提交事务的编号，并且是一个全局唯一的编号。  
    GTID 实际上是由 UUID+TID 组成的。其中 UUID 是一个 MySQL 实例的唯一标识。TID 代表了该实例上已经提交的事务数量，并且随着事务提交单递增。下面是一个 GTID 的具体形式3E11FA47-71CA-11E1-9E33-C80AA9429562:23  
    5）一致性检测设置--transaction-write-set-extraction=XXHASH64  
    **MGR 使用限制：**  
    1. 和普通复制 binlog 校验不能共存，需设置--binlog-checksum=none  
    2. 不支持 gap lock(间隙锁)，隔离级别需设置为 read\_committed  
    3. 不支持对表进行锁操作（lock /unlock table）,不会发送到其他节点执行 ,影响需要对表进行加锁操作的情况，列入 mysqldump 全表备份恢复操作  
    4. 不支持 serializable(序列化)隔离级别  
    5. DDL 语句不支持原子性，不能检测冲突，执行后需自行校验是否一致不支持外键：多主不支持，单主模式不存在此问题，最多支持 9 个节点：超过 9 台 server 无法加入组

--------------------

### **部署 MGR 集群** ###

*  ### **数据库服务器规划** ###
 *  c7\_2\_3     192.168.2.3    Server version: 5.7.25     CentOS 7.6
 *  c7\_2\_5     192.168.2.5    Server version: 5.7.25     CentOS 7.5
 *  c7\_2\_6     192.168.2.6    Server version: 5.7.25     CentOS 7.6
 *  firewalld、iptables以及selinux均为关闭状态
 *  所有节点安装 mysql-5.7.25

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6][]

*  # **配置主机名解析在三台数据库服务器上都设置：（必须）**   vim /etc/hosts   127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4                                                 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6   192.168.2.3 c7\_2\_3   192.168.2.5 c7\_2\_5   192.168.2.6 c7\_2\_6 #
 *  必须配置，否则后续会报错

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7][]

![2021061613315176.png][]

![20210616133211941.png][]

![20210616133224589.png][]

*  # **配置节点   192.168.2.3** #
 *  vim /etc/my.cnf  
    \[mysqld\]  
    datadir=/var/lib/mysql  
    socket=/var/lib/mysql/mysql.sock  
    binlog-ignore-db=mysql
    
    character-set-server=utf8mb4  
    collation-server=utf8mb4\_general\_ci
    
    server-id=12  
    gtid\_mode = ON  
    enforce\_gtid\_consistency = ON  
    master\_info\_repository = TABLE  
    relay\_log\_info\_repository = TABLE  
    binlog\_checksum = NONE  
    log\_slave\_updates = ON  
    log\_bin = binlog  
    binlog\_format= ROW  
    transaction\_write\_set\_extraction = XXHASH64  
    loose-group\_replication\_group\_name = 'd3ff078b-a3fd-4a21-b942-fda627fba3c5'  
    loose-group\_replication\_start\_on\_boot = on  
    loose-group\_replication\_local\_address = 'mysql1:33061'  
    loose-group\_replication\_group\_seeds ='mysql1:33061,mysql2:33061,mysql3:33061'  
    loose-group\_replication\_bootstrap\_group = off  
    relay-log-recovery=1  
    \#loose-group\_replication\_single\_primary\_mode = off  
    \#loose-group\_replication\_enforce\_update\_everywhere\_checks = on
    
    max\_connections = 3000  
    max\_connect\_errors = 3000  
    table\_open\_cache = 2048  
    max\_allowed\_packet = 16M  
    binlog\_cache\_size = 16M  
    max\_heap\_table\_size = 16M  
    tmp\_table\_size = 256M  
    read\_buffer\_size = 1024M  
    read\_rnd\_buffer\_size = 1024M  
    sort\_buffer\_size = 1024M  
    join\_buffer\_size = 1024M  
    key\_buffer\_size = 8M  
    thread\_cache\_size = 8  
    query\_cache\_type = on  
    query\_cache\_size = 512M  
    query\_cache\_limit = 1024M  
    ft\_min\_word\_len = 4  
    long\_query\_time = 1 
    
    \# Disabling symbolic-links is recommended to prevent assorted security risks  
    \#  
    symbolic-links=0
    
    log-error=/var/log/mysqld.log  
    pid-file=/var/run/mysqld/mysqld.pid  
    validate-password=OFF
 *  \[mysqld\]  
    \# Group Replication  
    server\_id = 1 \#服务 ID  
    gtid\_mode = ON \#全局事务  
    enforce\_gtid\_consistency = ON \#强制 GTID 的一致性  
    master\_info\_repository = TABLE \#将 master.info 元数据保存在系统表中  
    relay\_log\_info\_repository = TABLE \#将 relay.info 元数据保存在系统表中  
    binlog\_checksum = NONE \#禁用二进制日志事件校验  
    log\_slave\_updates = ON \#级联复制  
    log\_bin = binlog \#开启二进制日志记录  
    binlog\_format = ROW \#以行的格式记录  
    transaction\_write\_set\_extraction = XXHASH64 \#使用哈希算法将其编码为散列  
    loose-group\_replication\_group\_name = 'e61bdb2a-6258-4843-97ff-4aee1ca1a270' \#加入的组名，所有节点必须保持一致  
    loose-group\_replication\_start\_on\_boot = off \#不自动启用组复制集群  
    loose-group\_replication\_local\_address ='c7\_2\_3:33061' \#以本机端口 33061 接受来自组中成员的传入连接  
    loose-group\_replication\_group\_seeds = ''c7\_2\_3:33061', 'c7\_2\_5:33061', 'c7\_2\_6:33061'' \#组中成员访问表  
    loose-group\_replication\_bootstrap\_group = off \#不启用引导组  
    **group\_name 可以通过 uuidgen 生成**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8][]

*  重启 MySQL 服务  
    systemctl restart mysqld
 *  建立复制账号：

mysql -uroot -p123456  
mysql> set SQL\_LOG\_BIN=0; \#停掉日志记录  
mysql> grant replication slave on \*.\* to slave@'192.168.2.%' identified by '123456';  
mysql> flush privileges;  
mysql> set SQL\_LOG\_BIN=1; \#开启日志记录  
mysql> change master to master\_user='slave',master\_password='123456' for channel 'group\_replication\_recovery'; \#构建 group replication 集群  
在 MySQL 服务器上安装 group replication 插件  
mysql> install PLUGIN group\_replication SONAME 'group\_replication.so';  
查看 group replication 组件  
mysql> show plugins;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9][]

*  **设置 group\_replication\_bootstrap\_group 为 ON 是为了标示以后加入集群的服务器以这台服务器为基准，以后加入的就不需要设置。**
    
    mysql> stop slave;  
    mysql> reset slave;  
    mysql> set global group\_replication\_bootstrap\_group=ON; 
    
    **作为首个节点启动 mgr 集群**  
    mysql> start group\_replication;  
    mysql> set global group\_replication\_bootstrap\_group=OFF;  
    查看 mgr 的状态  
    查询表 performance\_schema.replication\_group\_members  
    mysql> select \* from performance\_schema.replication\_group\_members;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10][]

*  ### **查看 gtid，所有节点必须保持一致** ###
 *  show global variables like '%gtid%';

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11][]

*  ### **查看是否可以写入，多主模式下所有节点必须保持一致** ###
 *  show variables like '%read\_only%';

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12][]

*  测试服务器 192.168.2.3 上的 MySQL
 *  创建数据库、表并插入一些信息
 *  > create database mydata;
 *  > use test;
 *  > create table mylist (id int primary key,name varchar(20)); **\#注意创建主键**
 *  > insert into mylist values (1,'man');
 *  > select \* from mylist;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13][]

*  # [查看某个binlog日志内容][binlog] #
 *  show binlog events;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14][]

*  --------------------
    
    集群中添加 192.168.2.5 主机  
    复制组添加新实例 192.168.2.5  
    修改/etc/my.cnf 配置文件，方法和之前相同
 *  vim /etc/my.cnf  
      
    datadir=/var/lib/mysql  
    socket=/var/lib/mysql/mysql.sock
    
    \# Group Replication
    
    server\_id = 2  
    gtid\_mode = ON  
    enforce\_gtid\_consistency = ON  
    master\_info\_repository = TABLE  
    relay\_log\_info\_repository = TABLE  
    binlog\_checksum = NONE  
    log\_slave\_updates = ON  
    log\_bin = binlog  
    binlog\_format = ROW  
    transaction\_write\_set\_extraction = XXHASH64  
    loose-group\_replication\_group\_name = 'e61bdb2a-6258-4843-97ff-4aee1ca1a270'  
    loose-group\_replication\_start\_on\_boot = ON  
    loose-group\_replication\_local\_address = 'c7\_2\_5:33061'  
    loose-group\_replication\_group\_seeds = 'c7\_2\_3:33061,c7\_2\_5:33061,c7\_2\_6:33061'  
    loose-group\_replication\_bootstrap\_group = off  
    relay-log-recovery=1  
    group\_replication\_single\_primary\_mode = off  
    group\_replication\_enforce\_update\_everywhere\_checks = ON

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15][]

*  重启 MySQL 服务  
    systemctl restart mysqld  
    用户授权  
    mysql -u root -p123456  
    mysql> set SQL\_LOG\_BIN=0; \#停掉日志记录  
    mysql> grant replication slave on \*.\* to slave@'192.168.2.%' identified by '123456';  
    mysql> flush privileges;  
    mysql> set SQL\_LOG\_BIN=1; \#开启日志记录  
    mysql> change master to master\_user='slave',master\_password='123456' for channel 'group\_replication\_recovery'; \#构建 group replication 集群  
    安装 group replication 插件  
    mysql> install PLUGIN group\_replication SONAME 'group\_replication.so';  
      
    把实例添加到之前的复制组  
    **mysql> set global group\_replication\_allow\_local\_disjoint\_gtids\_join=ON;  
    mysql> stop slave;  
    mysql> reset slave;  
    mysql> start group\_replication;**  
      
    在 192.168.2.3 和 192.168.2.5上查看复制组状态  
    mysql> select \* from performance\_schema.replication\_group\_members;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 16][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 17][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 18][]

*  查看之前创建的库和表是否同步

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 19][]

*  测试 在 192.168.2.5 上插入一些数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 20][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 21][]

--------------------

*  集群中添加 192.168.2.6 主机  
    详细步骤请参考复制组添加新实例 192.168.2.5
 *  vim /etc/my.cnf  
    \[mysqld\]  
      
    datadir=/var/lib/mysql  
    socket=/var/lib/mysql/mysql.sock  
    server\_id = 3  
    gtid\_mode = ON  
    enforce\_gtid\_consistency = ON  
    master\_info\_repository = TABLE  
    relay\_log\_info\_repository = TABLE  
    binlog\_checksum = NONE  
    log\_slave\_updates = ON  
    log\_bin = binlog  
    binlog\_format = ROW  
    transaction\_write\_set\_extraction = XXHASH64  
    loose-group\_replication\_group\_name = 'e61bdb2a-6258-4843-97ff-4aee1ca1a270'  
    loose-group\_replication\_start\_on\_boot = ON  
    loose-group\_replication\_local\_address = 'c7\_2\_6:33061'  
    loose-group\_replication\_group\_seeds = 'c7\_2\_3:33061,c7\_2\_5:33061,c7\_2\_6:33061'  
    loose-group\_replication\_bootstrap\_group = off  
    group\_replication\_single\_primary\_mode = off  
    group\_replication\_enforce\_update\_everywhere\_checks = ON  
     
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 22][]
 *  重启 MySQL 服务  
    systemctl restart mysqld  
    用户授权  
    mysql -u root -p123456  
    mysql> set SQL\_LOG\_BIN=0; \#停掉日志记录  
    mysql> grant replication slave on \*.\* to slave@'192.168.2.%' identified by '123456';  
    mysql> flush privileges;  
    mysql> set SQL\_LOG\_BIN=1; \#开启日志记录  
    mysql> change master to master\_user='slave',master\_password='123456' for channel 'group\_replication\_recovery'; \#构建 group replication 集群  
    安装 group replication 插件  
    mysql> install PLUGIN group\_replication SONAME 'group\_replication.so';  
      
    把实例添加到之前的复制组  
    mysql> set global group\_replication\_allow\_local\_disjoint\_gtids\_join=ON;  
      
    mysql> start group\_replication;  
      
    在 192.168.2.3 和 192.168.2.5上查看复制组状态  
    mysql> select \* from performance\_schema.replication\_group\_members;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 23][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 24][]

*  测试 在 192.168.2.6 上插入、删除一些数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 25][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 26][]

*  在 192.168.2.5 上查看

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 27][]

*  在 192.168.2.5 上删除数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 28][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 29][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 30][]

*  # **模拟故障** #
 *  停止 192.168.2.3 的mysql 服务
 *

![20210616142135919.png][]

*  尝试在  192.168.2.5 和 2.6 上插入数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 31][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 32][]

*  读写正常，下面恢复刚才宕机的  192.168.2.3
 *  每次恢复宕机，都需要重新加入组

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 33][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 34][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 35][]

*  模拟故障，服务器全部重启

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 36][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 37][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 38][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 39][]

*  尝试加入先前的组发现报错

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 40][]

*  重新创建组并加入

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 41][]

*  在其他节点上添加服务器

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 42][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 43][]

*  测试查询、插入、删除
 *  在 192.168.2.6 上插入数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 44][]

*  在 192.168.2.5 上删除数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 45][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 46][]

*  如果是克隆的虚拟机会提示 server-uuid 重复错误
 *  mv /var/lib/mysql/auto.cnf /var/lib/mysql/auto.cnf.bak  
    重启服务会重新生成 auto.cnf

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 47][]

![2021061921285017.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 48][]

*  提示错误 1290 的解决办法
 *  ERROR 1290 (HY000): The MySQL server is running with the --super-read-only option so it cannot execute this statement

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 49][]

*  在主组端重新开启组

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 50][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 51][]

*  然后在从库重新加入组

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 52][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 53][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 54][]

--------------------

*  多主创建组并加入

grant replication slave on \*.\* to 'slave'@'192.168.2.%' identified by '123456';

flush privileges;

stop GROUP\_REPLICATION;

reset master;

set global group\_replication\_single\_primary\_mode=off;

set global group\_replication\_enforce\_update\_everywhere\_checks=ON;

SET GLOBAL group\_replication\_bootstrap\_group=ON;

START GROUP\_REPLICATION;

SET GLOBAL group\_replication\_bootstrap\_group=OFF;

select \* from performance\_schema.replication\_group\_members;

*  多主从宕机恢复

grant replication slave on \*.\* to 'slave'@'192.168.2.%' identified by '123456';

flush privileges;

stop GROUP\_REPLICATION;

reset master;

set global group\_replication\_allow\_local\_disjoint\_gtids\_join=ON;

set global group\_replication\_single\_primary\_mode=off;

set global group\_replication\_enforce\_update\_everywhere\_checks=ON;

start group\_replication;

select \* from performance\_schema.replication\_group\_members;

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70]: /images/20221005/34867625fd6941d9a36b0ab96cc88db2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1]: /images/20221005/514815c9348d469ba148c694ab25ac3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2]: /images/20221005/bfde64ac3a4b42228cb335a26725992e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3]: /images/20221005/78d60b756a23480a8345a6465e85fe04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4]: /images/20221005/dedbb493aa084cdd81314a832e4c4919.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5]: /images/20221005/2f780a33016f493284a17637b66945d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6]: /images/20221005/1ceb89b2ff4147f59ef6f26e5fd3d641.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7]: /images/20221005/ad18c906cc2346ab822b84cf139fc8f6.png
[2021061613315176.png]: /images/20221005/dca4c3ceb8094e7f94530bed96a937fd.png
[20210616133211941.png]: /images/20221005/be589b08d8834625bb615983ae083aa0.png
[20210616133224589.png]: /images/20221005/41713ea32ec941acb7781e95f057505c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8]: /images/20221005/a44bc8d7e4d54b499aa05d123a19b740.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9]: /images/20221005/d03c1c71c8b641e29c2d4064ef5ff396.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10]: /images/20221005/4d43c3195dbf4ea182b916f94d3a4c5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11]: /images/20221005/1ee435228b5d4c07b45a1bf78637d246.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12]: /images/20221005/2ef421d9f8074940ae91158403c0d1da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13]: /images/20221005/cb945f9924c04615b5580bcf3a9472dc.png
[binlog]: https://www.cnblogs.com/l10n/p/9400437.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14]: /images/20221005/4a455b4468524e82bed4fadcf2221a1a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15]: /images/20221005/4357951a27554cd4983f5dd6916be245.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 16]: /images/20221005/88dd6f10077f40b2bdab3264b645c9f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 17]: /images/20221005/25fa7656c89b40deb07d7935401469df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 18]: /images/20221005/93092bbbf1cd4b2e829a3020caeabf87.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 19]: /images/20221005/345f1f2b16da4997b093054a4815ff00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 20]: /images/20221005/6350db886f894b95855f1f4788e94935.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 21]: /images/20221005/06789acec265468ea8a7a721962c579d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 22]: /images/20221005/b262dbbc1dfb4a3bbeb67969f64b383d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 23]: /images/20221005/cf944b9866e64193bb099bf7679371ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 24]: /images/20221005/92ffb66707ff40e3b2c7fe8e3fc4ecb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 25]: /images/20221005/e1def2f745b94221a2af5cf140ebccc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 26]: /images/20221005/a9a0bd428af14737a14f40746f8dcc67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 27]: /images/20221005/3e2db59be83045ec9e8e4766b0680c0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 28]: /images/20221005/6f3c570c71114a878aad983d78158335.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 29]: /images/20221005/5fffe7e4f765486495d2d7c619f3d7e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 30]: /images/20221005/fd491fe2d41c41bb98d3635ba71b4d26.png
[20210616142135919.png]: /images/20221005/498258e44854491f9e1370ef47b3c1e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 31]: /images/20221005/dca39e204467411ba7dd984ec8afd404.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 32]: /images/20221005/06f99b143f9d4fbd8484b8f242c343fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 33]: /images/20221005/8e1bed069c0641aba7bf0368a2f03ec6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 34]: /images/20221005/f2ca66a45d9b48bd8826461503ef1ec4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 35]: /images/20221005/3d2baa1450084132a8617e0bf5118d60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 36]: /images/20221005/4ee5ee6f0e9c44c4ad6487e596bc944a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 37]: /images/20221005/bdfd59fddcc84b3985c2749520cb9d24.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 38]: /images/20221005/2e6cba55a7b14f7490c73d515728006a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 39]: /images/20221005/bc05cf6f114f457c9e66a58e25492b25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 40]: /images/20221005/57ff77ef8bdb460d915bc255a7a9e9a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 41]: /images/20221005/f8114b22e4894b4fa457923e2623d792.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 42]: /images/20221005/b06e98505df94f15b8583a62c2b49584.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 43]: /images/20221005/e65bd415e3644893b1337480eb80f204.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 44]: /images/20221005/9c13c1247d2649c69866ebaf6e98a025.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 45]: /images/20221005/d0acb51b5e9d45c5ac8dd11499008c51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 46]: /images/20221005/1ef7639dd60840f6a4b3b954ec9b7ec5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 47]: /images/20221005/f3f73a286fa844ae9c1826db3ca37019.png
[2021061921285017.png]: /images/20221005/6b37c3cd7f884edcafd6864761d8956f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 48]: /images/20221005/450d1b99f3c74b85900fff892b94a497.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 49]: /images/20221005/91806787ccc94c4b80a2577df85032c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 50]: /images/20221005/141a6795569949bdb5b083e7f34fa6eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 51]: /images/20221005/66d1d57bfde1429fb5bc7508fe1fc7f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 52]: /images/20221005/de0ee84c2a1e4e968fbfe392da05e0df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 53]: /images/20221005/bb18586af84c446d85956fe7c93d70a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 54]: /images/20221005/461096fa56ab49de94de4fc738db5e92.png