数据库分库分表神器：中间件mycat

﹏ヽ暗。殇╰゛Y 2022-05-30 23:41 284阅读 0赞

# 1   海量数据的存储问题 #

如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。

但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如果使用关系型数据库解决海量存储的问题呢？此时就需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中存储。

## 1.1  什么是数据库分片 ##

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。

数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。

（1）一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分

（2）另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

## 1.2  如何实现数据库分片 ##

当数据库分片后，数据由一个数据库分散到多个数据库中。此时系统要查询时需要切换不同的数据库进行查询，那么系统如何知道要查询的数据在哪个数据库中？当添加一条记录时要向哪个数据库中插入呢？这些问题处理起来都是非常的麻烦。

这种情况下可以使用一个数据库中间件mycat来解决相关的问题。接下来了解一下什么是mycat。

# 2   Mycat介绍 #

## 2.1  什么是Mycat？ ##

Mycat 背后是阿里曾经开源的知名产品——Cobar。Cobar 的核心功能和优势是 MySQL 数据库分片，Mycat 是基于 cobar 演变而来，对 cobar 的代码进行了彻底的重构，使用 NIO 重构了网络模块，并且优化了 Buffer 内核，增强了聚合，Join 等基本特性，同时兼容绝大多数数据库成为通用的数据库中间件。

简单的说，MyCAT就是：一个新颖的数据库中间件产品支持mysql集群，或者mariadb cluster，**提供高可用性数据分片集群。你可以像使用mysql一样使用mycat。对于开发人员来说根本感觉不到mycat的存在。**

## 2.2  Mycat支持的数据库 ##

MySql、oracle、SQLServer、PostgreSQL、mongoDB

## 2.3  Mycat的分片策略 ##

## ![SouthEast][] ##

## 2.4  概念说明 ##

### 2.4.1逻辑库(schema) ： ###

数据库中间件，通常对实际应用者来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

### 2.4.2逻辑表（table）： ###

既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

分片表：是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。总而言之就是需要进行分片的表。

非分片表：一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。

### 2.4.3分片节点(dataNode) ###

数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）。

### 2.4.4节点主机(dataHost)  ###

数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。

### 2.4.5分片规则(rule)  ###

数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

# 3   Mycat的下载及安装 #

## 3.1  安装环境 ##

1、jdk：要求jdk必须是1.7及以上版本

2、Mysql：推荐mysql是5.5以上版本

3、Mycat：

Mycat的官方网站：

[http://www.mycat.org.cn/][http_www.mycat.org.cn]

下载地址：

[https://github.com/MyCATApache/Mycat-download][https_github.com_MyCATApache_Mycat-download]

## 3.2  安装步骤 ##

Mycat有windows、linux多种版本。本教程为linux安装步骤，windows基本相同。

第一步：下载Mycat-server-xxxx-linux.tar.gz

第二步：将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下。

第三步：进入mycat目录，启动mycat

./mycat start

停止：

./mycat stop

mycat 支持的命令\{ console | start | stop | restart | status | dump \}

**Mycat的默认端口号为：8066**

# 4   Mycat的实战 #

## 4.1  需求 ##

把商品表分片存储到三个数据节点上。

## 4.2  安装环境分析 ##

两台mysql数据库服务器：

Host1：192.168.25.128

Host2：192.168.25.129

host1环境

操作系统版本 : centos7

数据库版本 : mysql-5.6

mycat版本 ：1.4 release

数据库名 : mycat01、mycat03

host2环境

操作系统版本 : kali4.6.0

数据库版本 : mysql-5.6

mycat版本 ：1.4 release

数据库名 : mycat02

MyCat安装到节点1上（需要安装jdk）

## 4.3  配置schema.xml ##

路径：mycat安装目录/mycat/conf/schema.xml

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://org.opencloudb/">
    
            <schema name="supermall" checkSQLschema="false" sqlMaxLimit="100">
                    
                    <table name="tb_item" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
            </schema>
            <dataNode name="dn1" dataHost="localhost1" database="mycat01" />
            <dataNode name="dn2" dataHost="localhost2" database="mycat02" />
            <dataNode name="dn3" dataHost="localhost1" database="mycat03" />
            <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
                    writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                    <heartbeat>select user()</heartbeat>
                    
                    <writeHost host="hostM1" url="192.168.25.128:3306" user="root"
                            password="root">
                            
    
                    </writeHost>
            </dataHost>
            <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
                    writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                    <heartbeat>select user()</heartbeat>
                    
                    <writeHost host="hostM1" url="192.168.25.129:3306" user="root"
                            password="root">
                            
    
                    </writeHost>
            </dataHost>
    </mycat:schema>

## 4.4  配置server.xml ##

路径：mycat安装目录/mycat/conf/server.xml

<user name="root">
        <property name="password">root</property>
        <property name="schemas">supermall</property>
        <property name="readOnly">false</property>
    </user>

## 4.5  操作前准备 ##

1、使用工具连接机器128和129的mysql数据库，128创建数据库mycat01和mycat03，129创建数据库mycat02

2、启动mycat，确认启动成功后，使用工具连接mycat所在的机器128， **注意端口是8066**

![SouthEast 1][]

## 4.6  测试分片 ##

1、选择mycat机器，数据库supermall，创建表item（ **效果：mycat01、02、03都会自动创建表item**）

-- ----------------------------
    -- Table structure for item
    -- ----------------------------
    DROP TABLE IF EXISTS `item`;
    CREATE TABLE `item` (
      `id` bigint(20) NOT NULL COMMENT '商品id，同时也是商品编号',
      `title` varchar(100) NOT NULL COMMENT '商品标题',
      `sell_point` varchar(500) DEFAULT NULL COMMENT '商品卖点',
      `price` bigint(20) NOT NULL COMMENT '商品价格，单位为：分',
      `num` int(10) NOT NULL COMMENT '库存数量',
      `barcode` varchar(30) DEFAULT NULL COMMENT '商品条形码',
      `image` varchar(500) DEFAULT NULL COMMENT '商品图片',
      `cid` bigint(10) NOT NULL COMMENT '所属类目，叶子类目',
      `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品状态，1-正常，2-下架，3-删除',
      `created` datetime NOT NULL COMMENT '创建时间',
      `updated` datetime NOT NULL COMMENT '更新时间',
      PRIMARY KEY (`id`),
      KEY `cid` (`cid`),
      KEY `status` (`status`),
      KEY `updated` (`updated`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';

2、选择mycat机器，数据库supermall，向表item插入数据

-- ----------------------------
    -- Records of item
    -- ----------------------------
    INSERT INTO ITEM(ID,TITLE,SELL_POINT,PRICE,NUM,BARCODE,IMAGE,CID,STATUS,CREATED,UPDATED) VALUES ('1', 'new2 - 阿尔卡特 (OT-927) 炭黑 联通3G手机 双卡双待', '清仓！仅北京，武汉仓有货！', '29900000', '99999', '', 'http://image.taotao.com/jd/4ef8861cf6854de9889f3db9b24dc371.jpg', '560', '1', '2015-03-08 21:33:18', '2015-04-11 20:38:38');
    INSERT INTO ITEM(ID,TITLE,SELL_POINT,PRICE,NUM,BARCODE,IMAGE,CID,STATUS,CREATED,UPDATED) VALUES ('5000000', 'new8- 三星 W999 黑色 电信3G手机 双卡双待双通', '下单送12000毫安移动电源！双3.5英寸魔焕炫屏，以非凡视野纵观天下时局，尊崇翻盖设计，张弛中，尽显从容气度！', '1100', '99999', '', 'http://image.taotao.com/jd/d2ac340e728d4c6181e763e772a9944a.jpg', '560', '1', '2015-03-08 21:27:54', '2015-04-12 17:10:43');
    INSERT INTO ITEM(ID,TITLE,SELL_POINT,PRICE,NUM,BARCODE,IMAGE,CID,STATUS,CREATED,UPDATED) VALUES ('5000001', '阿尔卡特 (OT-979) 冰川白 联通3G手机', '清仓！仅上海仓有货！', '30900', '99999', null, 'http://image.taotao.com/jd/a69d0d09a1a04164969c2d0369659b1a.jpg', '560', '1', '2015-03-08 21:33:18', '2015-03-08 21:33:18');
    INSERT INTO ITEM(ID,TITLE,SELL_POINT,PRICE,NUM,BARCODE,IMAGE,CID,STATUS,CREATED,UPDATED) VALUES ('10000000', '阿尔卡特 (OT-927) 单电版 炭黑 联通3G手机 双卡双待', '清仓！仅北京，武汉仓有货！', '24900', '99999', null, 'http://image.taotao.com/jd/9c1fcdf2bf20450788195c707da00a87.jpg', '560', '1', '2015-03-08 21:33:18', '2015-03-08 21:33:18');
    INSERT INTO ITEM(ID,TITLE,SELL_POINT,PRICE,NUM,BARCODE,IMAGE,CID,STATUS,CREATED,UPDATED) VALUES ('10000001', '阿尔卡特 (OT-986+) 玫红 AK47 加强版 联通3G手机', '仅上海，广州，沈阳仓有货！预购从速！', '49900', '99999', null, 'http://image.taotao.com/jd/65e2007d41dc4e3cb308833a1a910f8d.jpg', '560', '1', '2015-03-08 21:32:31', '2015-03-08 21:32:31');
    INSERT INTO ITEM(ID,TITLE,SELL_POINT,PRICE,NUM,BARCODE,IMAGE,CID,STATUS,CREATED,UPDATED) VALUES ('15000000', '阿尔卡特 (OT-986+) 曜石黑 AK47 加强版 联通3G手机', '少量库存，抢完即止！<a  target=\"blank\"  href=\"http://sale.jd.com/act/bxYeI1346g.html?erpad_source=erpad\">“领券更优惠！”</a>', '49900', '99999', null, 'http://image.taotao.com/jd/b3251c85da8e4302b7389f3371dd0a68.jpg', '560', '1', '2015-03-08 21:31:36', '2015-03-08 21:31:36');
    INSERT INTO ITEM(ID,TITLE,SELL_POINT,PRICE,NUM,BARCODE,IMAGE,CID,STATUS,CREATED,UPDATED) VALUES ('15000001', '三星 B9120 钛灰色 联通3G手机 双卡双待双通', '下单即送10400毫安移动电源！再赠手机魔法盒！', '439900', '99999', null, 'http://image.taotao.com/jd/c1775819c7e44b1c903f27514e70b998.jpg', '560', '1', '2015-03-08 21:29:27', '2015-03-08 21:29:27');

效果如下图：

![SouthEast 2][]

说明：7条数据，每张表插入了两条，最后一条数据的id为15000001报错（此处schema.xml配置的分片策略为每张表5000000条数据，三张表最大15000000，超过则不允许插入了）

# 5   总结 #

作为应用开发人员，无需关心数据库中间件是怎么运作的，不管它采用什么分库分表策略，我们只要将它当做一个数据库（如mysql），正常连接操作即可。

附：参考黑马教程学习，以上内容均实践操作所得。

[SouthEast]: /images/20220531/76f7543d6a2441d99ac4cb07a5852b42.png
[http_www.mycat.org.cn]: http://www.mycat.org.cn/
[https_github.com_MyCATApache_Mycat-download]: https://github.com/MyCATApache/Mycat-download
[SouthEast 1]: /images/20220531/2cceb2fd9872422f9930073432297aff.png
[SouthEast 2]: /images/20220531/dc1e4407065b47bd8a1852aff50fa315.png