ClickHouse初级 - 第六章副本

小灰灰 2024-02-05 16:01 21阅读 0赞

#### 文章目录 ####

*   *  一、副本写入流程
     *  二、配置步骤

>  *  副本的目的主要是保障数据的高可用性，即使一台 ClickHouse 节点宕机，那么也可以从 其他服务器获得相同的数据。
>  *  https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/

### 一、副本写入流程 ###

![请添加图片描述][a45af1ce0c084a4abcbecfa9299e71fa.png]

### 二、配置步骤 ###

> 1）启动zookeeper集群

> 2）在在 hadoop102 的/etc/clickhouse-server/config.d 目录下创建一个名为 metrika.xml 的配置文件,内容如下:

> **注:也可以不创建外部文件，直接在 config.xml 中指定"zookeeper"**

<?xml version="1.0"?>
    <yandex>
        <zookeeper-servers>
           <node index="1">
    <host>hadoop102</host>
               <port>2181</port>
           </node>
           <node index="2">
               <host>hadoop103</host>
               <port>2181</port>
           </node>
           <node index="3">
               <host>hadoop104</host>
               <port>2181</port>
           </node>
        </zookeeper-servers>
    </yandex>

> 3）同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.d/metrika.xml

> 4）在hadoop102的/etc/clickhouse-server/config.xml中增加

<zookeeper incl="zookeeper-servers" optional="true" />
    <include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

![请添加图片描述][a2de35fc0c3a4c11a6e0816617920ef2.png]  
5）同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.xml

> 分别在 hadoop102 和 hadoop103 上启动 ClickHouse 服务

> 注意:因为修改了配置文件，如果以前启动了服务需要重启  
> **sudo clickhouse restart**

> 注意:我们演示副本操作只需要在 hadoop102 和 hadoop103 两台服务器即可，上面的操作，我们 hadoop104 可以你不用同步，我们这里为了保证集群中资源的一致性，做了同步。

> 6）在hadoop102和hadoop103上分别建表

> 副本只能同步数据，不能同步表结构，所以我们需要在每台机器上自己手动建表

> 6.1）hadoop102

create table t_order_rep2 (
       id UInt32,
    sku_id String,
    total_amount Decimal(16,2), create_time Datetime
     ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_102')
      partition by toYYYYMMDD(create_time)
      primary key (id)
      order by (id,sku_id);

> 6.2）hadoop103

create table t_order_rep2 (
       id UInt32,
    sku_id String,
    total_amount Decimal(16,2), create_time Datetime
     ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_103')
      partition by toYYYYMMDD(create_time)
      primary key (id)
      order by (id,sku_id);

> 6.3）参数解释
> 
>  *  ReplicatedMergeTree 中， 第一个参数是分片的zk\_path一般按照:/clickhouse/table/\{shard\}/\{table\_name\} 的格式写，如果只有一个分片就写 01 即可。
>  *  第二个参数是副本名称，相同的分片副本名称不能相同。

> 7）在hadoop102上执行insert语句

insert into t_order_rep2 values
    (101,'sku_001',1000.00,'2020-06-01 12:00:00'),
    (102,'sku_002',2000.00,'2020-06-01 12:00:00'),
    (103,'sku_004',2500.00,'2020-06-01 12:00:00'),
    (104,'sku_002',2000.00,'2020-06-01 12:00:00'),
    (105,'sku_003',600.00,'2020-06-02 12:00:00');

![请添加图片描述][3878ba9c2a84466bbc2204e8b7a0ae2e.png]

> 8）在 hadoop103 上执行 select，可以查询出结果，说明副本配置正确

![请添加图片描述][240e9deb1b8b461eb829cbdf3285cd87.png]

[a45af1ce0c084a4abcbecfa9299e71fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/ab7400ad2437420c949792f176d51466.png
[a2de35fc0c3a4c11a6e0816617920ef2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/69403ff015bd47848177d86d1d243c75.png
[3878ba9c2a84466bbc2204e8b7a0ae2e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/3e7f9fef979b4c73a83af2994fec29e5.png
[240e9deb1b8b461eb829cbdf3285cd87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/823c5b8d6d634f5285139f2db9a23ba4.png