mycat的水平和垂直切片什么意思

古城微笑少年丶 2022-05-16 06:06 31阅读 0赞

mycat是国人开发的一款开源的数据库中间件，他的作用就是伪装成一个真的数据库，然后在它背后，连的是多种类型，集群分布式的真实数据库。他的体系结构就像下面：

![这里写图片描述][20160616222527039]

需要理解mycat的几个概念。

schema:逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。   
table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode，这是通过表格的分片规则定义来实现的，table可以定义其所属的“子表(childTable)”，子表的分片依赖于与“父表”的具体分片地址，简单的说，就是属于父表里某一条记录A的子表的所有记录都与A存储在同一个分片上。   
分片规则：是一个字段与函数的捆绑定义，根据这个字段的取值来返回所在存储的分片（DataNode）的序号，每个表格可以定义一个分片规则，分片规则可以灵活扩展，默认提供了基于数字的分片规则，字符串的分片规则等。   
dataNode: MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上，一般来说，为了高可用性，每个DataNode都设置两个DataSource，一主一从，当主节点宕机，系统自动切换到从节点。   
dataHost：定义某个物理库的访问地址，用于捆绑到dataNode上。

MyCAT目前通过配置文件的方式来定义逻辑库和相关配置：   
MYCAT\_HOME/conf/schema.xml中定义逻辑库，表、分片节点等内容；   
MYCAT\_HOME/conf/rule.xml中定义分片规则；   
MYCAT\_HOME/conf/server.xml中定义用户以及系统相关变量，如端口等。

说了那么多，或许你看看下面的图就明白了：

![这里写图片描述][20160616223019578]

mycat的好处就是你可以使用他就像使用真的mysq数据库一样，jdbc该怎么连，命令行该怎么敲就怎么敲，sql语句该怎么写就怎么写，它的出现让你的业务代码持久层不用动，而背后，却能帮搭建起mysql的分表，分库，读写分离，集群分布式。

下面就简单使用mycat来帮助我们将业务数据表进行垂直切分和水平切分

垂直切分搭建

垂直切分其实就是根据业务的不同，将不同业务的表放到不同的数据库中，例如我们订单表，用户表，用户评论表，因为他们业务的不同，可以将他们分别放到三个数据库中。好，那我们就使用三个数据库，分别安装三张表，使用mysql架构如下：

![这里写图片描述][20160616224351276]

1、修改MYCAT\_HOME/conf/schema.xml，内容如下：

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://org.opencloudb/">
    
        
        <schema name="mycat1" checkSQLschema="false" sqlMaxLimit="100" dataNode="mycat1" />
        <schema name="mycat2" checkSQLschema="false" sqlMaxLimit="100" dataNode="mycat2" />
        <schema name="mycat3" checkSQLschema="false" sqlMaxLimit="100" dataNode="mycat3" />
    
        
        <dataNode name="mycat1" dataHost="mycat" database="mycat1" />
        <dataNode name="mycat2" dataHost="mycat" database="mycat2" />
        <dataNode name="mycat3" dataHost="mycat" database="mycat3" />
    
        <dataHost name="mycat" maxCon="1000" minCon="10" balance="0"
           writeType="0" dbType="mysql" dbDriver="native">
           <heartbeat>select user()</heartbeat>
           
           <writeHost host="hostM1" url="192.168.137.101:3306" user="root" password="123" />
           <writeHost host="hostM2" url="192.168.137.102:3306" user="root" password="123" />
           <writeHost host="hostM3" url="192.168.137.103:3306" user="root" password="123" />
        </dataHost>
    </mycat:schema>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23

2、修改MYCAT\_HOME/conf/server.xml,添加链接mycat的帐号信息等

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE mycat:server SYSTEM "server.dtd">
    <mycat:server xmlns:mycat="http://org.opencloudb/">
        <system>
        <property name="defaultSqlParser">druidparser</property>
        </system>
        
        <user name="test">
            <property name="password">test</property>
            <property name="schemas">mycat1,mycat2,mycat3</property>
        </user>
    
        
        <user name="user">
            <property name="password">user</property>
            <property name="schemas">mycat1,mycat2,mycat3</property>
            <property name="readOnly">true</property>
        </user>
    </mycat:server>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19

3、那么你可以用mysql的客户端，或者直接命令行的方式进入mysql客户端，查看数据库。

![这里写图片描述][20160617082703646]

可以看到mycat把三个数据库的内容都包含进来了，完成的垂直切分。

数据库水平切分

除了可以按照业务将数据表分配到不同的的数据库中做成垂直切分，很多时候，用户量大的时候，例如一张用户表有上亿条数据，那么一次性查数据肯定很慢，那么我们可以这样子，将这张表按照某种规则将数据存放到不同的数据库中，例如可以按照用户省份的不同，将数据切分到广东省，北京市，上海市等数据库中。下面假如我们有一张student表，因为数据量太多，就按照id的取余规则，将数据分别存放到俩个数据库中，架构如下：

![这里写图片描述][20160617083703837]

下面这么配置：

1、修改MYCAT\_HOME/conf/schema.xml，内容如下：

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://org.opencloudb/">
    
        
        <schema name="test" checkSQLschema="false" sqlMaxLimit="100">
           <table name="tb_class" dataNode="dn1,dn2" rule="rule1" primaryKey="id"/>
           <table name="tb_student" dataNode="dn1,dn2" rule="rule1" primaryKey="id"/>
        </schema>
    
        <dataNode name="dn1" dataHost="mycat101" database="mycat101" />
        <dataNode name="dn2" dataHost="mycat103" database="mycat103" />
    
        <dataHost name="mycat101" maxCon="1000" minCon="10" balance="0"
           writeType="0" dbType="mysql" dbDriver="native">
           <heartbeat>select user()</heartbeat>
           <writeHost host="host1" url="192.168.137.101:3306" user="root" password="123" />
        </dataHost>
    
        <dataHost name="mycat103" maxCon="1000" minCon="10" balance="0"
           writeType="0" dbType="mysql" dbDriver="native">
           <heartbeat>select user()</heartbeat>
           <writeHost host="host3" url="192.168.137.103:3306" user="root" password="123" />
        </dataHost>
    </mycat:schema>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26

2、修改MYCAT\_HOME/conf/server.xml,添加链接mycat的帐号信息等

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE mycat:server SYSTEM "server.dtd">
    <mycat:server xmlns:mycat="http://org.opencloudb/">
        <system>
        <property name="defaultSqlParser">druidparser</property>
        </system>
        
        <user name="test">
            <property name="password">test</property>
            <property name="schemas">test</property>
        </user>
    
        
        <user name="user">
            <property name="password">user</property>
            <property name="schemas">test</property>
            <property name="readOnly">true</property>
        </user>
    </mycat:server>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19

3、定义切片规则，修改MYCAT\_HOME/conf/rule.xml，这里是安装id进行切片

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE mycat:rule SYSTEM "rule.dtd">
    <mycat:rule xmlns:mycat="http://org.opencloudb/"> 
     <tableRule name="rule1">
        
        <rule>
          <columns>id</columns>
          <algorithm>func1</algorithm>
        </rule>
     </tableRule>
    
     
     <function name="func1" class="org.opencloudb.route.function.PartitionByLong">
        <property name="partitionCount">2</property>
        <property name="partitionLength">512</property>
     </function>
    </mycat:rule>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17

4、进行测试，先看看，mycat数据库表现是怎样？

![这里写图片描述][20160617084635575]

test就是我们的逻辑库，tb\_class和tb\_student就是我们的表，插入一条数据到tb\_class中，id为1，1在0~512之间，应该插到第一个数据库中，

![这里写图片描述][20160617085202201]

然后再插一条数据为id为513的，那么应该在第二个数据库中。

![这里写图片描述][20160617085602161]

然后在mycat表现的就是一张表，你可以随便增删改查。

![这里写图片描述][20160617085651506]

到此就把垂直切分和水平切分给完成了

[20160616222527039]: /images/20220516/71c772cdf4964ee8ab62c5d9bf931bc6.png
[20160616223019578]: /images/20220516/2e316dda12534b2089fcb66d81d67fe1.png
[20160616224351276]: /images/20220516/8242c68fb71e445f94cbbb857bca89f2.png
[20160617082703646]: /images/20220516/cc1b3bde03b445d482398b3b1e983373.png
[20160617083703837]: /images/20220516/c89c8e01618744ba96338462001a81f4.png
[20160617084635575]: /images/20220516/40532e80779742598d5c70139888fe70.png
[20160617085202201]: /images/20220516/f7f09b7b049f4820bc10447b6db07cda.png
[20160617085602161]: /images/20220516/319027a053a84dd3afd37ad8005dd64d.png
[20160617085651506]: /images/20220516/026fbf6d08fb40e5b6b919ecd7250620.png