Mycat实现MySQL的分库分表、读写分离、主从切换

傷城~ 2021-11-26 13:36 325阅读 0赞

最近主要投入在平安云MySQL DRDS的项目中，本人主要负责zookeeper模块的配置及后台脚本的编写。为了加深对DRDS整体架构的认识，我觉得有必要手工搭建基于Mycat实现的Mysql分布式数据库集群，现和大家分享下搭建流程，后续会针对Mycat的各项配置作进一步研究，敬请期待。  
**Mycat及MySQL实例部署情况：**  
Mycat：  
IP：10.20.8.57，Port：3310/3311  
MySQL ：  
db1-M1，IP：10.20.8.126，Port：3306  
db1-M2，IP：10.20.8.126，Port：3307  
db2-M1，IP：10.25.80.7，Port：3307  
架构图如下：  
![Mycat实现MySQL的分库分表、读写分离、主从切换][Mycat_MySQL]

**配置Mycat**  
server.xml：

<!DOCTYPE mycat:server SYSTEM "server.dtd">
    <mycat:server xmlns:mycat="http://io.mycat/">
        <system>
            <property name="useSqlStat">1</property>
            <property name="useGlobleTableCheck">0</property>
            <property name="defaultSqlParser">druidparser</property>
            <property name="sequnceHandlerType">2</property>
            <property name="processorBufferPoolType">0</property>
            <property name="serverPort">3310</property>      
            <property name="managerPort">3311</property>      
            <property name="handleDistributedTransactions">0</property>
            <property name="useOffHeapForMerge">1</property>
            <property name="memoryPageSize">1m</property>
            <property name="spillsFileBufferSize">1k</property>
            <property name="useStreamOutput">0</property>
            <property name="systemReserveMemorySize">389m</property>
        </system>
        <user name="root">
            <property name="password">123456</property>
            <property name="schemas">db</property>
            <property name="readOnly">false</property>
        </user>
    </mycat:server>

schema.xml：

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.mycat/">
    
        
        <schema name="db" checkSQLschema="false" sqlMaxLimit="100">                     
            <table name="t1"  dataNode="dn1,dn2"  rule="mod-long" />       
        </schema>
    
        
        <dataNode name="dn1" dataHost="shard1" database="db1" />                        
        <dataNode name="dn2" dataHost="shard2" database="db2" />
    
        
        <dataHost name="shard1" maxCon="1000" minCon="10" balance="3"  writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
            <heartbeat>select user();</heartbeat>
            <writeHost host="db1-M1" url="10.20.8.126:3306" user="root" password="123456">  
                    <readHost host="db1-M2" url="10.20.8.126:3307" user="root" password="123456" />
            </writeHost>
    
            
            <writeHost host="db1-M2" url="10.20.8.126:3307" user="root" password="123456">  
            </writeHost> 
    
        </dataHost>
    
        <dataHost name="shard2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
            <heartbeat>select user();</heartbeat>
            <writeHost host="db2-M1" url="10.25.80.7:3307" user="root" password="123456">  
            </writeHost>
        </dataHost>
    
    </mycat:schema>

修改rule.xml中下列配置项：

<tableRule name="mod-long">
            <rule>
                <columns>id</columns>           
                <algorithm>mod-long</algorithm>
            </rule>
    </tableRule>
    
    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
            
            <property name="count">2</property> 
    </function>

配置文件中各标签的含义可参考文章：[MyCat关键配置说明][MyCat]

**启动Mycat:**

[root@SZB-L0059021 bin]# ./mycat start
    Starting Mycat-server...
    [root@SZB-L0059021 bin]# ./mycat status
    Mycat-server is running (27020).
    [root@SZB-L0059021 bin]# mysql -uroot -p123456 -Ddb -h127.0.0.1 -P3310

**分库分表验证：**

mysql> show tables;
    +--------------+
    | Tables in db |
    +--------------+
    | t1           |
    +--------------+
    1 row in set (0.00 sec)
    mysql> desc t1;
    +---------+-------------+------+-----+---------+-------+
    | Field   | Type        | Null | Key | Default | Extra |
    +---------+-------------+------+-----+---------+-------+
    | id      | int(11)     | YES  |     | NULL    |       |
    | db_name | varchar(20) | YES  |     | NULL    |       |
    +---------+-------------+------+-----+---------+-------+
    2 rows in set (0.01 sec)
    mysql> insert into t1(id,db_name) values(1,database());    
    Query OK, 1 row affected (0.01 sec)
    mysql> insert into t1(id,db_name) values(2,database());      
    Query OK, 1 row affected (0.03 sec)
    mysql> select * from t1;   
    +------+---------+
    | id   | db_name |
    +------+---------+
    |    2 | db1     |    --id=2，对2取模为0，所以插入dn1         
    |    1 | db2     |    --id=1，对2取模为1，所以插入dn2 
    +------+---------+ 
    2 rows in set (0.01 sec)
    上述查询结果可知，两次插入的数据分落入了db1、db2上，实现了分库

**读写分离验证：**

mysql> select * from t1;   
    +------+---------+
    | id   | db_name |
    +------+---------+
    |    2 | db1     |     --来自shard1上的db1-M2     
    |    1 | db2     |     --来自shard2上的db2-M1
    +------+---------+
    2 rows in set (0.01 sec)
    
    查看日志可知，上述查询结果来自dn1中db1-M2（端口3307）和dn2中的db2-M1：
    2018-05-08 15:03:39.385 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.server.NonBlockingSession.execute(NonBlockingSession.java:110)) - ServerConnection [id=1, schema=db, host=127.0.0.1, user=root,txIsolation=3, autocommit=true, schema=db]select * from t1, route={
       1 -> dn1{SELECT *
    FROM t1
    LIMIT 100}
       2 -> dn2{SELECT *
    FROM t1
    LIMIT 100}
    }
    ...
    2018-05-08 15:03:39.391 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.MultiNodeQueryHandler.rowEofResponse(MultiNodeQueryHandler.java:311)) - on row end reseponse MySQLConnection [id=29, lastTime=1525763019368, user=root, schema=db1, old shema=db1, borrowed=true, fromSlaveDB=true, threadId=511, charset=utf8, txIsolation=3, autocommit=true, attachment=dn1{SELECT *
    FROM t1
    LIMIT 100}, respHandler=io.mycat.backend.mysql.nio.handler.MultiNodeQueryHandler@66328ec4, host=10.20.8.126, port=3307, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
    ...
    2018-05-08 15:03:39.392 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.MultiNodeQueryHandler.rowEofResponse(MultiNodeQueryHandler.java:311)) - on row end reseponse MySQLConnection [id=3, lastTime=1525763019387, user=root, schema=db2, old shema=db2, borrowed=true, fromSlaveDB=false, threadId=28, charset=utf8, txIsolation=3, autocommit=true, attachment=dn2{SELECT *
    FROM t1
    LIMIT 100}, respHandler=io.mycat.backend.mysql.nio.handler.MultiNodeQueryHandler@66328ec4, host=10.25.80.7, port=3307, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
    ...

**主从切换：**  
通过查看mycat/conf目录下的dnindex.properties文件，可以知道mycat正在使用的writeHost，0表示schema.xml中dataHost标签下的第一个writeHost。

[root@SZB-L0059021 conf]# cat dnindex.properties 
    #update
    #Tue May 08 12:59:24 CST 2018
    shard2=0
    shard1=0               --此时状态正常，mycat选取每个dataHost标签中的第一个writeHost作为写入入口

切换至10.20.8.126主机，并手动停掉db1-M1

10.20.8.126:3306:Master > mysqladmin -uroot -p123456 shutdown

回到10.20.8.57（mycat主机），再次查看dnindex.properties

[root@SZB-L0059021 conf]# cat dnindex.properties 
    #update
    #Tue May 08 15:12:12 CST 2018
    shard2=0
    shard1=1              --db1-M1被shutdown后，mycat在shard1上的writeHost切换至db1-M2

切换至10.20.8.57（mycat所在主机），执行下述insert命令

mysql> insert into t1(id,db_name) values(4,database());           
    Query OK, 1 row affected (0.01 sec)
    
    查看日志可知，Mycat此时选择通过db1-M2（端口3307）写入数据：
    2018-05-08 15:13:44.987 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.server.NonBlockingSession.releaseConnection(NonBlockingSession.java:341)) - release connection MySQLConnection [id=24, lastTime=1525763624968, user=root, schema=db1, old shema=db1, borrowed=true, fromSlaveDB=false, threadId=506, charset=utf8, txIsolation=3, autocommit=true, attachment=dn1{insert into t1(id,db_name) values(4,database())}, respHandler=SingleNodeHandler [node=dn1{insert into t1(id,db_name) values(4,database())}, packetId=1], host=10.20.8.126, port=3307, statusSync=null, writeQueue=0, modifiedSQLExecuted=true]

由于dataHost中配置了writeType="0"，所以即使db1-M1重启恢复后，Mycat仍然会选择db1-M2作为shard1的  
writeHost。  
验证：

切换至10.20.8.126主机，并手动启动db1-M1
    10.20.8.126:3306:Master > mysqld_safe &
    
    在Mycat中插入验证数据
    mysql> insert into t1(id,db_name) values(6,database());
    Query OK, 1 row affected (0.02 sec)
    查看日志可知，数据仍通过db1-M2（端口3307）写入：
    2018-05-08 15:16:09.579 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.server.NonBlockingSession.releaseConnection(NonBlockingSession.java:341)) - release connection MySQLConnection [id=32, lastTime=1525763769548, user=root, schema=db1, old shema=db1, borrowed=true, fromSlaveDB=false, threadId=514, charset=utf8, txIsolation=3, autocommit=true, attachment=dn1{insert into t1(id,db_name) values(6,database())}, respHandler=SingleNodeHandler [node=dn1{insert into t1(id,db_name) values(6,database())}, packetId=1], host=10.20.8.126, port=3307, statusSync=null, writeQueue=0, modifiedSQLExecuted=true]

此时要想让Mycat在shard1上的writeHost重新变为db1-M1，只需修改dnindex.properties中的shard1=1为shard1=0，并重启Mycat即可。

[Mycat_MySQL]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMS41MWN0by5jb20vaW1hZ2VzL2Jsb2cvMjAxODA1LzA4LzcwYTU4YTIxZjJjYjZjNmEzNzIwNTIzNjg3NDViYzYwLnBuZz94LW9zcy1wcm9jZXNzPWltYWdlL3dhdGVybWFyayxzaXplXzE2LHRleHRfUURVeFExUlA1WTJhNWE2aSxjb2xvcl9GRkZGRkYsdF8xMDAsZ19zZSx4XzEwLHlfMTAsc2hhZG93XzkwLHR5cGVfWm1GdVozcG9aVzVuYUdWcGRHaz0
[MyCat]: https://blog.csdn.net/tornadojava/article/details/54948662

发表评论取消回复

表情：

评论列表（有 0 条评论，325人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL实操(三)——使用Mycat实现分库分表+读写分离

MySQL实操系列 [MySQL实操(一)——CentOS7安装MySQL5.7及基础配置\_DreamEhome的博客-CSDN博客\_centos7 中安装mys

浅浅的花香味﹌/ 2023年09月23日 22:14/ 0 赞/ 58 阅读

相关 mycat mysql 分表分库_Mycat简单实现读写分离与分库分表

Mycat数据库读写分离环境：客户端1.13 ↓ mycat中间件1.11 ↙ ↘ master主机1.12 slave主机1.10 一、master主机(1

桃扇骨/ 2023年01月12日 01:56/ 0 赞/ 156 阅读

相关 mycat+mysql集群:实现读写分离，分库分表

1.mycat文档：https://github.com/MyCATApache/Mycat-doc 官方网站：http://www.mycat.org.cn/

分手后的思念是犯贱/ 2022年08月18日 13:29/ 0 赞/ 215 阅读

相关数据库读写分离、分表分库——Mycat篇

数据库读写分离、分表分库——Mycat篇 > 系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的

╰+攻爆jí腚メ/ 2022年04月11日 13:00/ 0 赞/ 261 阅读

相关 2.0 Mycat实现MySQL的分库分表、读写分离、主从复制

Mycat及MySQL实例部署情况： Mycat（版本：5.6.29）： IP：192.168.227.6，Port：3310/3311 MySQL（版本：5.6.29）

短命女/ 2022年03月11日 02:44/ 0 赞/ 649 阅读

相关 Mycat数据库读写分离、分表分库

前面已经说了Mycat的简单安装及配置我们现在做一个主从、读写分离，简单分表的示例。结构如下图： ![006tNc79gy1fjglurmknmj30m80ipmyr.j

太过爱你忘了你带给我的痛/ 2022年02月24日 07:12/ 0 赞/ 293 阅读

相关使用Mycat进行分库分表，读写分离

什么是[Mycat][] 它是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的的 Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户

淡淡的烟草味﹌/ 2022年01月28日 08:27/ 0 赞/ 353 阅读

相关 Mycat实现MySQL的分库分表、读写分离、主从切换

最近主要投入在平安云MySQL DRDS的项目中，本人主要负责zookeeper模块的配置及后台脚本的编写。为了加深对DRDS整体架构的认识，我觉得有必要手工搭建基于Mycat

傷城~/ 2021年11月26日 13:36/ 0 赞/ 326 阅读

相关 Mycat读写分离、主从切换、分库分表的操作记录

系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术

本是古典何须时尚/ 2021年11月26日 13:34/ 0 赞/ 311 阅读

相关 mycat配置主从复制，读写分离，分库分表

1.server.xml中文件配置完整内容 <?xml version="1.0" encoding="UTF-8"?> <!-- - - License

妖狐艹你老母/ 2021年10月19日 07:42/ 0 赞/ 356 阅读