Mycat实战案例(二)

ゞ浴缸里的玫瑰 2022-01-22 02:17 607阅读 0赞

#                                       Mycat实战案例(二) #

--------------------

**目录**

Mycat实战案例(二)

一.高可用的故障转移

1.准备一个schema.xml配置文件,单分片表格的双机热备结构(两个数据库没有主从)

2.Mycat读写都在一个表中

3.在Mycat中写数据

4.宕机对应的数据库

5.报错，转移

二.全局表的配置

1.全局表:mycat不是所有的sql语句格式都能支持的

2.全局表:解决分片表格与数据量不大的变化稳定的非分片表的关联查询设计的表格结构.

3.全局表特点:

4.修改商品表格的字段(多个分片的数据库中同时修改添加c\_id)

5.数据库中创建新的表格category

6.shema.xml配置一个分片表格,一个非分片表格

7.进入数据库查看数据

8.category添加数据信息（非分片）

9.product数据清空，添加数据（分片）

1.添加数据在第一分片中

2.添加数据在第二分片中

10.在mycat客户端执行关联查询

11.实现schema.xml对category的全局表格配置(多分片复制)

12.总结全局表格:

三.ER表

1.ER分片表

2.创建需要的表格

3.schema.xml配置t\_order和t\_order\_item的er分片表格关系

4.mycat运行

1.运行报错，说明配置不正确，根据错误信息取修改对应的标签

2.标签写错了childTable

5.mycat测试ER分片表的逻辑

1.两张表格各自插入一批数据;

2.新增数据时,

3.在子表中只能一条一条的添加

4.上午把数据玩炸了，重修部署了一下

5.订单数据

6.查询关联操作时

7.不支持删除语句

8.但是支持内嵌的in关键字

9.查询结果

四.hash一致性的分片计算

1.mycat中hash一致性的原理

2.rule.xml中的hash一致性配置

3.schem.xml配置一个hash一致性计算分片的表格

1.数据库新作表格,hashtable(主键char/varchar)

2.配置模板

3.重新启动

4进入Mycat 新增加数据（什么类型都可以都会映射到hash环上）

5.进行hash计算分片

暂告一段落

--------------------

# 一.高可用的故障转移 #

## **1.准备一个schema.xml配置文件,单分片表格的双机热备结构(两个数据库没有主从)** ##

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][] ###

## 2.Mycat读写都在一个表中 ##

![20190604204706586.png][]

## 3.在Mycat中写数据 ##

![20190604204814192.png][]

## 4.宕机对应的数据库 ##

![20190604205027568.png][]

## 5.报错，转移 ##

![20190604205234572.png][]

**故障转移是为了临时顶替**

# 二.全局表的配置 #

## **1.全局表:mycat不是所有的sql语句格式都能支持的** ##

**比如:跨分片的关联查询无法完成**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1][]**

**由于一个表格是分片表,一个表格是非分片表格,在底层数据库中关联数据"薯片:1"关联的"1:食品"的类型数据跨分片了,在客户端执行查询时,跨分片的数据库mycat无法使用返回.**

## **2.全局表****:解决分片表格与数据量不大的变化稳定的非分片表的关联查询设计的表格结构.** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2][]

## **3.全局表特点:** ##

**       数据量不大,数据变化不大,稳定,一般都是公司中的工具表,字典表,与业务的关联关系比较多的表格都会在mycat数据库集群中实现全局表的 配置; 比如：页面代码代号 404 500 200......**

**工具字典表:**

*  代码中使用的是数字数据:1980735799,到工具字典表去查;
 *  198:多省数据
 *  07:上海
 *  357:分波路由器
 *  99:目的地武汉

**http编码中看到数字,200,201,404,500**

## **4.修改商品表格的字段(多个分片的数据库中同时修改添加c\_id)** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 3][]

## 5.数据库中创建新的表格category ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 4][]

## 6.shema.xml配置一个分片表格,一个非分片表格 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 5][]

## 7.进入数据库查看数据 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 6][]

## 8.category添加数据信息（非分片） ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 7][]

**在Mytest中填写数据**

![20190605101439356.png][]

## **9.**product**数据清空，添加数据（分片）** ##

![20190605101635796.png][]

### **1.添加数据在第一分片中** ###

![20190605101755691.png][]

### **2.添加数据在第二分片中** ###

![20190605102017383.png][]

## 10.在mycat客户端执行关联查询 ##

**select \* from product,category where product.c\_id=category.id**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 8][]

**查不到第二分片的数据，因为上面总结了   跨分片的关联查询无法完成**

## **11.**实现schema.xml对category的全局表格配置(多分片复制) ##

![20190605102455125.png][]

*  **只需要在dataNode中添加 dn2即可，**
 *  **不设置rule （没分片计算逻辑）就是全局表，而不是分片表，**
 *  **type默认就是global,可写可不写**
 *  **一定要对应起来，如果你的分片表格，有N个分片，你的全局表必须N个分片**

**配置好分片表，把对应的表数据同步到其他表中 （复制）global全局复制**

![20190605103420293.png][]

**category将会由于多个分片的配置,同时没有给定分片规则的xml结构下,直接被定义为一个全局表,**

**任意插入到当前表格的数据,都会被复制到多个分片中**

## 12.总结全局表格: ##

**当业务逻辑中,业务表格数据庞大需要拆分成分片表个,同时关联查询的非分片表格就不能单独使用非分片配置--引入全局表;**

# 三.ER表 #

## 1.ER分片表 ##

**mycat不支持跨分片的数据关联查询;分片表余分片表也有可能做关联查询;**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 9][]

*  **每个分片表格都有对应的自己分片计算的，**
 *  **如果实现多个表格，全部按照一个分片表格定义的分片计算  把相关的数据全部放进一个表格**
 *  **mycat首创ER分片表切分逻辑的中间件(没有ER之前的中间件是必须解决跨分片操作操作的问题的)**

## **2.创建需要的表格** ##

**Mycat  无法创建表结构，无法区分，非分片表，分片表....**

**t\_order(id,name),t\_order\_item(id,title,o\_id)**

![20190605105719394.png][]

![20190605105757617.png][]

**两个分片的数据库中将需要的操作的表格创建处理**

## 3.schema.xml配置t\_order和t\_order\_item的er分片表格关系 ##

![20190605110059683.png][]

**这个是错误的案例， ER表不能按照之前的配置来处理**

**在上一个测试案例中添加数据库准备好的两个表格对应的逻辑ER分片表,测试的分片规则auto-sharding-long**

**childtable标签:（之前博客有介绍）**

* **表示一个table标签的子标签,定义的是一个逻辑库的子库,实现的内容是ER分片表;**
 * **<childTable name="orders" primaryKey="ID" joinKey="customer\_id"  parentKey="id">**
 * **name:表格的名称, **
 * **primaryKey:主键**
 * **joinKey:外键字段名称**
 * **parentKey:外键字段在主表中的字段名称**

![20190605112151193.png][]

**<childtable> 可配置多个**

## 4.mycat运行 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 10][]

### **1.运行报错，说明配置不正确，根据错误信息取修改对应的标签** ###

![20190605113041760.png][]

### **2.标签写错了childTable** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 11][]

**成功运行**

## **5**.mycat测试ER分片表的逻辑 ##

![20190605113332447.png][]

### **1.两张表格各自插入一批数据;** ###

![20190605114340663.png][]

### **2.新增数据时,** ###

**子表不支持insert into () values(),(),()批量插入,但是支持同时执行多个insert语句;以后版本应该会可以**

mysql> insert into t\_order (id,name) values('1','订单1');

Query OK, 1 row affected (0.09 sec)

mysql> insert into t\_order (id,name) values('300001','订单2');

Query OK, 1 row affected (0.00 sec)

![20190605114024910.png][]

### **3.在子表中只能一条一条的添加** ###

![20190605114451168.png][]

### **4.上午把数据玩炸了，重修部署了一下** ###

![20190605142628754.png][]

**第一分片**

![20190605142608498.png][]  
**第二分片**

![2019060514320292.png][]

### **5.订单数据** ###

![20190605143638502.png][]

## ##

### **6.查询关联操作时** ###

**可以使用别名;select \* from t\_order a,t\_order\_item b where a.id=b.o\_id** 老版本不可以

![20190605143916277.png][]

### **7.不支持删除语句**  ###

**delete a,b from t\_order a,t\_order\_item b where a.id=b.o\_id and a.id=1**

![20190605143936209.png][]

### **8.但是支持内嵌的in关键字** ###

**delete from t\_order\_item where t\_order\_item.o\_id**

**in (select id from t\_order where t\_order.id=1);**

**delete from t\_order where id=1**

![201906051443230.png][]

### **9.查询结果** ###

![2019060514442028.png][]

# 四.hash一致性的分片计算 #

**之前的分片计算都是整数范围划分,**

**对应主键分片计算字段是int,long类型,不适用string类型,时间,**

**hash一致性对数据的类型有没有要求**

## 1.mycat中hash一致性的原理 ##

**对比redis的hash一致性**

<table style="margin-left:1.0833in;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9972in;"> 概念 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6347in;"> redis </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.6902in;"> mycat </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9972in;"> 节点信息 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6347in;"> 10.9.9.9:6379 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.6902in;"> dn1,dn2,dn3 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9972in;"> 虚拟节点 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6347in;"> 10.9.9.9:6379#1 10.9.9.9:6379#2 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.6902in;"> dn1#1,dn1#2 dn2#1,dn2#2 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9972in;"> 数据 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6347in;"> key值 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.6902in;"> 字段值(id,order_id,haha_id) </td> 
 </tr> 
 </tbody> 
</table>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 12][]

## 2.rule.xml中的hash一致性配置 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 13][]

**<function name="murmur" class="org.opencloudb.route.function.PartitionByMurmurHash">**

**<property name="seed">0</property>**

**<property name="count">2</property>**

**<property name="virtualBucketTimes">160</property>**

****

**weightMapFile(0=权重整数值,1=权重整数值)**

****

**</function>**

## 3.schem.xml配置一个hash一致性计算分片的表格 ##

### **1.数据库新作表格,hashtable(主键char/varchar)**![20190605152955540.png][] ###

### **2.配置模板** ###

**<table name="hashtable" primaryKey="ID" dataNode="dn1,dn2"**

**rule="sharding-by-murmur"/>**

![20190605153242238.png][]

### **3.重新启动** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 14][]

### **4进入Mycat 新增加数据（什么类型都可以都会映射到hash环上）** ###

![20190605153603468.png][]

*  **insert into hashtable (id) values('df05c14c-679e-414d-b10a-958a48793382');**
 *  **insert into hashtable (id) values('ecaf1f41-bc7b-4d2d-a237-3731caa11d86');**
 *  **insert into hashtable (id) values('58fbc094-a940-4025-8fcb-e517c8d683b2');**

### **5.进行hash计算分片** ###

![20190605153822262.png][]

**第一分片**

![2019060515380385.png][]  
**第二分片**

### 暂告一段落 ###

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20220122/728ec563d1af4e438ae3db9bc81a5605.png
[20190604204706586.png]: /images/20220122/5b4c42988557405cbdf5a80f6e26c4dd.png
[20190604204814192.png]: /images/20220122/2f4ffecaa52a4153bcf91c6e74bc0e09.png
[20190604205027568.png]: /images/20220122/638ca67398684dc990994a756d77f32f.png
[20190604205234572.png]: /images/20220122/feb0042c42624dd19a04684c8c705cb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1]: /images/20220122/ae9555612c6147c98def8c9e1225f554.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2]: /images/20220122/13521ec3f95044e2b94a99c5072c526c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 3]: /images/20220122/956bcc8441ce43a898f80cacb6bd0418.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 4]: /images/20220122/2516974647fb49339aa140d6561a5cd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 5]: /images/20220122/d947cde060e64d0aad487e6b8f074282.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 6]: /images/20220122/eb561f90ef2146438e3f05989e882085.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 7]: /images/20220122/02f7bb158bd14554b649cf9eaae44e17.png
[20190605101439356.png]: /images/20220122/d6090f7ba8b849ffafff55dc4f7f4ee5.png
[20190605101635796.png]: /images/20220122/04ea164e85ca44d398607ab0bc117dba.png
[20190605101755691.png]: /images/20220122/8916e27fc576429c8cae50b84dcb24bf.png
[20190605102017383.png]: /images/20220122/e0bbffcee9384f7aab27baad3f2dbf8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 8]: /images/20220122/1b22c18bd10e4bc08750256872524850.png
[20190605102455125.png]: /images/20220122/dc249012b009470788fa5df948e7636d.png
[20190605103420293.png]: /images/20220122/2c7a61245f3649ccb7d77ad88310f735.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 9]: /images/20220122/d3514972e50e4bb2b0d1f372a5c5619d.png
[20190605105719394.png]: /images/20220122/ce6ba185e8a542748f09c310a4bbd77c.png
[20190605105757617.png]: /images/20220122/c2409862e7da41a6ae149f089f65b28f.png
[20190605110059683.png]: /images/20220122/8e2527b5f0574fef8fe7e29a66ba9efd.png
[20190605112151193.png]: /images/20220122/047d7b8397c44f4282d29b7aaa773122.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 10]: /images/20220122/7b0e186f96a4432c8a813924bd3cf345.png
[20190605113041760.png]: /images/20220122/070de311bc55448fbfd65c8e6f8efa0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 11]: /images/20220122/1d41ead79e874b499fb8ed080e736f2a.png
[20190605113332447.png]: /images/20220122/dcdce54344234c3aa0e7edefbfe88b04.png
[20190605114340663.png]: /images/20220122/4c1d5fbaa2ae4795a5543c26ab6f603f.png
[20190605114024910.png]: /images/20220122/f2c394f4a11d47d981afac7c4721471a.png
[20190605114451168.png]: /images/20220122/9d869c07962044c6adccaec6ad2f18a3.png
[20190605142628754.png]: /images/20220122/2c177e7e448145a8b80daca950ace2f3.png
[20190605142608498.png]: /images/20220122/8d21dab611294f448206dc3ce4cc0631.png
[2019060514320292.png]: /images/20220122/9f540ac1f2c643fc90da14f9fb2168a8.png
[20190605143638502.png]: /images/20220122/ce8037bef86f483a9e2b2754c2dfd042.png
[20190605143916277.png]: /images/20220122/3f3fd82771e7485db37393e160e25822.png
[20190605143936209.png]: /images/20220122/15eb638b746540bca56d3061f8ed493e.png
[201906051443230.png]: /images/20220122/9af0e0ea4f954501a68f16ce8559f8a2.png
[2019060514442028.png]: /images/20220122/960ab86f3d4342d380408b6cd6b4ca3a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 12]: /images/20220122/0372752a95b941e5b1e8982cc6c42e7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 13]: /images/20220122/d5622aa360904f80b73719cfd5efbf0b.png
[20190605152955540.png]: /images/20220122/4329a836a63743b7bf1e18af7681820a.png
[20190605153242238.png]: /images/20220122/94e2b3f5dd5e439798ecee9f449426c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 14]: /images/20220122/9e6752f123d24e71b1addcd41d992343.png
[20190605153603468.png]: /images/20220122/2e530398cd6d4dd18d4d7aecc4af9e2d.png
[20190605153822262.png]: /images/20220122/af703d171ba74030a646ad9850e4e719.png
[2019060515380385.png]: /images/20220122/f4c9c9c54e714d0d899e24cc22d3648d.png