ClickHouse系列--数据读写方案

淡淡的烟草味﹌ 2023-01-22 05:57 17阅读 0赞

## 1.概念 ##

### 1.分布式表 ###

分布式表，是一个逻辑上的表，是一些本地表的逻辑视图。

Distributed表引擎是分布式表的实现，它自身不存储任何数据，数据都分散存储在分片上，能够自动路由请求至集群中的各个节点，然后进行汇总后返回给用户，Distributed表引擎需要和其他数据表引擎一起协同工作。

一张分布式表底层会对应多个本地分片数据表，由具体的分片表存储数据，分布式表与分片表是**一对多的关系**。

### 2.本地表 ###

实际存储数据的表。

## 2.读数据方案 ##

读数据一般都是直接读分布式表。

1.分布式引擎会自动从集群中的多个服务器上进行分布式查询，读数据是自动并行的。

2.不支持使用分布式表查询别的分布式表（除非该表只有一个分片）。

3.使用**Distribute表引擎作为集群的统一访问入口**，当客户端查询分布式表时，ClickHouse会将查询分发到集群中各个节点上执行，并将各个节点的返回结果在分布式表所在节点上进行汇聚，将汇聚结果作为最终结果返回给客户端。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgwMDE0NA_size_16_color_FFFFFF_t_70]

## 3.写数据方案 ##

写数据方案有两种。

#### 1.写本地表 ####

##### 优点： #####

1.同步操作，数据直接写入本地表中，速度快，parts大小合适；

2.分片方案可以自行决定，可以灵活处理数据分片逻辑，在复杂业务下，这个灵活性很重要；

##### 缺点： #####

1.需要客户端额外实现sharding和路由逻辑，比如轮训或者随机；

#### 2.写分布式表 ####

##### 优点： #####

1.不需要自行实现分片逻辑，指定分片键/分片表达式和配置分片权重后，数据自行分发；

##### 缺点： #####

1.  分布式表接收到数据后会将数据拆分成多个parts, 并转发数据到其它服务器, 会引起服务器间网络流量增加、服务器merge的工作量增加, 导致写入速度变慢, 并且增加了Too many parts的可能性；
2.  数据的一致性问题, 先在分布式表所在的机器进行落盘, 然后异步的发送到其他服务器进行存储，如果在 INSERT 到分布式表时服务器节点丢失或重启（如，设备故障），则插入的数据可能会丢失；
3.  数据写入默认是异步的，短时间内可能造成不一致；

##### 数据同步流程 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgwMDE0NA_size_16_color_FFFFFF_t_70 1]

*  写入到一个节点
 *  通过interserver HTTP port端口同步到其他实例上
 *  更新zookeeper集群记录的信息

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgwMDE0NA_size_16_color_FFFFFF_t_70]: /images/20221020/e6cb442fa03f4fe297015e5957c3ca19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgwMDE0NA_size_16_color_FFFFFF_t_70 1]: /images/20221020/f85c048892d94a89ad41f94150daddb5.png