Docker搭建基于binlog的Mysql主从同步

阳光穿透心脏的1/2处 2023-06-30 06:45 134阅读 0赞

# MySQL binlog主从同步简介 #

传统的MySQL提供了一种简单的主从同步方法，主机数据库执行并提交事务，然后将事务异步发送到从数据库，使从机数据库执行相同的语句(如DDL、DML)，默认情况下所有服务器均具有数据的完整副本。主要流程图如下：  
![async-replication-diagram.png][]

*  主机Mysql通过Binlog Dump线程将日志发送到从机Mysql的IO线程
 *  I/O线程获取到事件数据后更新到从库的中继日志(relay log)中
 *  从机Mysql的SQL线程从relay log中获取所有事件并执行(Apply)，SQL线程在执行每个中继日志文件中的所有事件并且不再需要它之后，会自动删除该文件

目前官方文档提供的主从复制含[使用全局事务标识符(GTID)进行复制][GTID]与[基于二进制日志文件位置(Binary Log File Position)的复制][Binary Log File Position]两种，本文主要介绍如何通过Docker+Docker Compose简便搭建基于bin log的Mysql主从复制环境。

# 前置环境([安装参考][Link 1]) #

*  Docker
 *  Docker Compose

# 搭建流程 #

*  ##### 环境配置树 #####
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA_size_16_color_FFFFFF_t_70]

### 1. docker-compose.yml配置容器 ###

version: "3.7"
    services:
      db-master:
        image: mysql:5.7.28
        container_name: mysql-master1
        command: --default-authentication-plugin=mysql_native_password
        restart: always
        environment:
          # root用户密码
          MYSQL_ROOT_PASSWORD: tiger
          TZ: Asia/Shanghai
        # 设置容器hostname，使从机可通过hostname连接主机而不必使用ip
        hostname: mysql-master1
        ports:
          - 3306:3306
        volumes:
        # 当前目录下的mysql/master/*挂载(共享)到容器中的对应目录/文件
          - ./mysql/master/data:/var/lib/mysql
          - ./mysql/master/log:/var/log/mysql
          - ./mysql/master/conf:/etc/mysql
          # mysql容器初始化执行的指令文件，用于创建同步用户
          - ./mysql/master/init.sql:/docker-entrypoint-initdb.d/init.sql
      db-slave:
        image: mysql:5.7.28
        container_name: mysql-master1-slave1
        command: --default-authentication-plugin=mysql_native_password
        restart: always
        hostname: mysql-master1-slave1
        environment:
          MYSQL_ROOT_PASSWORD: tiger
          TZ: Asia/Shanghai
        ports:
          - 3307:3306
        volumes:
          - ./mysql/slave/data:/var/lib/mysql
          - ./mysql/slave/log:/var/log/mysql
          - ./mysql/slave/conf:/etc/mysql

### 2. master文件配置 ###

*  ./mysql/master/conf/my.cnf

[mysqld]
    ## 局域网唯一
    server_id=1
    ## 指定不需要同步的数据库名称
    binlog-ignore-db=master
    ## 开启二进制日志功能
    log-bin=master1-bin
    ## 设置二进制日志使用内存大小（事务）
    binlog_cache_size=1M
    ## 设置使用的二进制日志格式（mixed,statement,row）
    binlog_format=mixed
    ## 二进制日志过期清理时间。默认值为0，表示不自动清理。
    expire_logs_days=7
    ## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
    ## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
    slave_skip_errors=1062

*  ./mysql/master/conf/init.sql(创建从机同步用户)

CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
    GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

### 3. slave文件配置 ###

*  ./slave/conf/my.cnf

[mysqld]
    ## 局域网唯一
    server_id=2
    ## 指定不需要同步的数据库名称
    binlog-ignore-db=mysql
    ## 开启二进制日志功能，以备Slave作为其它数据库实例的Master时使用
    log-bin=master1-slave1-bin
    ## 设置二进制日志使用内存大小（事务）
    binlog_cache_size=1M
    ## 设置使用的二进制日志格式（mixed,statement,row）
    binlog_format=mixed
    ## 二进制日志过期清理时间。默认值为0，表示不自动清理。
    expire_logs_days=7
    ## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
    ## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
    slave_skip_errors=1062
    ## relay_log配置中继日志
    relay_log=mall-mysql-relay-bin
    ## log_slave_updates表示slave将复制事件写进自己的二进制日志
    log_slave_updates=1
    ## slave设置为只读（具有super权限的用户除外）
    read_only=1

### 4. 容器运行并进行同步配置测试 ###

*  启动容器：进入docker-compose.yml所在文件夹执行`docker-compose up -d`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA_size_16_color_FFFFFF_t_70 1]
 *  查看master容器mysql binary log文件(File)与位置(Position)
    
        docker exec -it mysql-master1 /bin/bash
        mysql -uroot -ptiger
        show master status;
    
    ![在这里插入图片描述][20200115151628451.png]
 *  slave容器mysql master连接配置并进行同步
    
        docker exec -it mysql-master1-slave1 /bin/bash
        mysql -uroot -ptiger
        # master_host可设为ip或容器hostname，使用用户为slave连接主机并通过log同步
        change master to master_host='mysql-master1', master_user='slave', master_password='123456', master_port=3306, master_log_file='master1-bin.000005', master_log_pos=154, master_connect_retry=30;
        # 开启同步
        start slave;
    
    查看同步信息`show slave status \G`：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA_size_16_color_FFFFFF_t_70 2]  
    当从机的IO线程Slave\_IO\_RUNNING(负责获取主机SQL日志,YES时即为成功连接到主机)与SQL线程Slave\_SQL\_Running(负责执行同步的语句)显示都为YES时，则主从同步搭建成功。
 *  校验
    
     *  在master上创建数据库后到slave上查看是否有master上创建的数据库
     *  在master上创建数据表后到slave上查看是否有master上创建的数据表
     *  在master上插入数据后到slave上查看是否有master上插入的数据

# 奇难杂症 #

*  **IO连接一直为Connecting**，建议检查`change master`的host、端口号、log\_pos等是否配置错误，或将host改为ip而非hostname，重新执行`change master`前需执行`stop slave;`指令停止IO线程。
 *  Slave\_IO\_Runnin为YES，Slave\_SQL\_Running为NO
    
        stop slave;                                                      
        SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1;     
        start slave;                                                      
        show slave status\G

[async-replication-diagram.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9rbm93bGVkZ2UtcGljdHVyZXMub3NzLWNuLWJlaWppbmcuYWxpeXVuY3MuY29tL215c3FsL2FzeW5jLXJlcGxpY2F0aW9uLWRpYWdyYW0ucG5n?x-oss-process=image/format,png
[GTID]: https://dev.mysql.com/doc/refman/8.0/en/replication-gtids.html
[Binary Log File Position]: https://dev.mysql.com/doc/refman/8.0/en/replication-howto.html
[Link 1]: https://mp.csdn.net/postedit/103989245
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200115145707395.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200115151151377.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA==,size_16,color_FFFFFF,t_70
[20200115151628451.png]: https://img-blog.csdnimg.cn/20200115151628451.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200115152651396.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3oyODEyNjMwOA==,size_16,color_FFFFFF,t_70