mysq集群同步原理介绍

缺乏、安全感 2022-10-02 03:56 172阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

前言  
mysql5.6版本前后的同步方式差别比较大，本文针对同步机制做些简单梳理，方便自己记忆也方便他人理解！

*  **5.6以前版本一主两从同步示意图：**  
    ![fe8e5759f287cb0e42ec13adf2577d88574.jpg][]
 *  **同步流程讲解**  
    1、主库发生数据变更，根据配置的从库数量（本示例是2个从库）创建n个 binlog dump的线程  
    2、每一个从库分别会创建一个io thread和sql thread  
    3、两个binlog dump 线程分别发送数据变更的事件到slave server1、和slave server2的 io thread线程，目的是告诉从库，有数据变更了，赶紧来取吧  
    4、从库1的io thread和从库2的io thread分别向binlog dump发送取数据的请求，请求的时候可以附带binlog 和position参数，让master知道你要请求哪些binlog  
    5、主库的dump thread收到io thread的请求，输出数据  
    6、从库的io thread接收到数据，写入本地的relay log文件  
    7、从库的sql thread监听到relay log的变化，执行binlog文件应用到本地
 *  **5.6版本以后同步讲解**  
    1、基于上面的同步会存在一些问题，比如master库crash掉了，需要把其中的slave库继续升级为master，其余从库也需要重新设定master的绑定关系，由于每个sql实例的binlog position并不相同，所以对于判断同步的起始位置是比较头疼的，无法给slave提供一个准确的position  
    2、针对上面的问题新版本的MySQL引入了GTID的概念，Global Transation id，并且是一个全局唯一的编号采用UUID:TID，mysql从库可以自动根据GTID找到需要同步的位置，对于已经执行过的GTID则会忽略，避免了数据不一致的无问题  
    3、详细讲解，请参考：[https://www.hi-linux.com/posts/47176.html][https_www.hi-linux.com_posts_47176.html]
 *  **关于收据同步的延迟总结**  
    既然是同步就会存在延迟，总结下来降低延迟的几种常见方式如下：  
    1、尽量避免一个master挂载n多个slave，由于slave的线程会频繁跟master的binlog dump线程交互会增加master的io压力，影响master的性能、带宽，降低了主从同步的吞吐效率，如果有多从的需求，可以改用级联方式挂载，在从库上绑定从库。  
    2、小事物，多批次提交，避免数据的突增，降低主从每次同步的数据量，提高同步数据的实时性  
    3、从库采用比主库性能更好的机器，这就是后天不足，先天来凑的意思了  
    4、多线程提升并发性能，中所周知，主从同步之所以延迟是以为主库可以多线程的写入，而从库需要做数据同步、数据解析和应用，由于在内网，数据同步不会形成瓶颈，真正形成瓶颈的是在数据的应用阶段，为了保证数据的正确性，不至于发生混乱，sql thread是串行执行的。如上为了解决上面的原因，数据库大神丁奇的方案，针对不同的表采用多线程去应用，5.6版本以后支持根据不同的schema，根据每个库使用多线程应用，也是为了降低数据的延迟

转载于:https://my.oschina.net/13426421702/blog/3039673

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/5b588344a06e41389b9520f11c8b6f85.png
[fe8e5759f287cb0e42ec13adf2577d88574.jpg]: /images/20220113/e1c50a0fb0fc45c8948766c6812c7999.png
[https_www.hi-linux.com_posts_47176.html]: https://www.hi-linux.com/posts/47176.html