【大数据】clickhouse系列一安装篇

一时失言乱红尘 2022-10-26 14:28 361阅读 0赞

### 目录 ###

*   *   *   *  第一步：下载安装包
             *  第二步：检查操作系统是否支持
             *  第三步：安装zookeeper
             *  第四步：创建用户clickhouse
             *  第五步：解压并安装
             *  第六步：修改配置
             *  第七步：验证集群

这里准备了4台机器，系统版本位centos7.6，配置为16C32G500G  
ck01  
ck02  
ck03  
ck04

#### 第一步：下载安装包 ####

下载地址：[https://repo.clickhouse.tech/tgz/stable/][https_repo.clickhouse.tech_tgz_stable]  
下载以下三个安装包  
clickhouse-client-20.10.2.20.tgz  
clickhouse-server-20.10.2.20.tgz  
clickhouse-common-static-20.10.2.20.tgz  
clickhouse-common-static-dbg-20.10.2.20.tgz

以下命令可使用默认root（本人开发环境默认root）

#### 第二步：检查操作系统是否支持 ####

grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo "SSE 4.2 not supported"

显示：SSE 4.2 supported，为支持

#### 第三步：安装zookeeper ####

CK需要ZK存储集群信息，比如分片（shard），副本（replica）等，所以需要准备一套ZK环境，ZK集群安装略过，请自行安装，这里ZK集群信息为  
zk01:2181，  
zk02:2181，  
zk03:2181

#### 第四步：创建用户clickhouse ####

在4个节点分别执行以下操作：

useradd clickhouse

后面的步骤全部切换到用户clickhouse再操作

#### 第五步：解压并安装 ####

在4个节点分别执行以下操作

tar -xzvf clickhouse-common-static-20.10.2.20.tgz
    sudo clickhouse-common-static-20.10.2.20/install/doinst.sh
    tar -xzvf clickhouse-common-static-dbg-20.10.2.20.tgz
    sudo clickhouse-common-static-dbg-20.10.2.20/install/doinst.sh
    tar -xzvf clickhouse-server-20.10.2.20.tgz
    sudo clickhouse-server-20.10.2.20/install/doinst.sh
    tar -xzvf clickhouse-client-20.10.2.20.tgz
    sudo clickhouse-client-20.10.2.20/install/doinst.sh

Centos7需要用以下命令管理服务（启动、关闭、查看服务）  
查看节点状态

systemctl status clickhouse-server

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1dGlhbjcxMw_size_16_color_FFFFFF_t_70]  
启动节点服务

systemctl start clickhouse-server

停止节点服务

systemctl stop clickhouse-server

#### 第六步：修改配置 ####

安装成功后，在/etc/clickhouse-server/ 目录下生成配置文件config.xml及user.xml、自定义配置目录config.d及users.d，推荐在config.d及users.d下新建配置文件，然后在config.xml及user.xml中引入config.d及users.d下的配置文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1dGlhbjcxMw_size_16_color_FFFFFF_t_70 1]  
config.xml中配置项很多，需要修改的配置项及取值如下，listen\_host  
![在这里插入图片描述][2021020215550074.png]  
将remote\_servers标签内容清空，集群节点配置信息统一放在metrika.xml里面。  
*说明：注意这里incl的值clickhouse\_remote\_servers必须和metrika.xml中的标签名一致*  
![在这里插入图片描述][20210202155534470.png]  
config.xml中的其它内容可以先不改动了，然后在config.d目录下新建一个metrika.xml文件，作为自定义配置文件，这里4个节点，2个shard，每个shard1个replica，内容如下：

<yandex>
    <!–ck集群节点–>
    <!–这里标签的名字要和config.xml中的一致–>
    <clickhouse_remote_servers>
    <test_ck_cluster>
    <!–分片1–>
    <shard>
    <weight>1</weight>
    <internal_replication>true</internal_replication>
    <replica>
    <host>ck01</host>
    <port>9000</port>
    <user>default</user>
    <password></password>
    <compression>true</compression>
    </replica>
    <replica>
    <host>ck02</host>
    <port>9000</port>
    <user>default</user>
    <password></password>
    <compression>true</compression>
    </replica>
    </shard>
    <!–分片2–>
    <shard>
    <weight>1</weight>
    <internal_replication>true</internal_replication>
    <replica>
    <host>ck03</host>
    <port>9000</port>
    <user>default</user>
    <password></password>
    <compression>true</compression>
    </replica>
    <replica>
    <host>ck04</host>
    <port>9000</port>
    <user>default</user>
    <password></password>
    <compression>true</compression>
    </replica>
    </shard>
    </test_ck_cluster>
    </clickhouse_remote_servers>
    <!–zookeeper相关配置–>
    <!–这里标签的名字zookeeper-servers要和config.xml中的一致–>
    <zookeeper-servers>
    <node index=“1”>
    <host>zk01</host>
    <port>2181</port>
    </node>
    <node index=“2”>
    <host>zk02</host>
    <port>2181</port>
    </node>
    <node index=“3”>
    <host>zk03</host>
    <port>2181</port>
    </node>
    </zookeeper-servers>

说明：

以上配置每个节点相同，macros配置每个节点不同，根据clickhouse\_remote\_servers中的配置而定，macros定义的宏，在后面创建数据表是会用到。

#### 第七步：验证集群 ####

在集群任何一个节点上，使用命令clickhouse-client登陆  
查看集群信息

select * from system.clusters

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1dGlhbjcxMw_size_16_color_FFFFFF_t_70 2]  
总结：至此，一个拥有4个节点的clickhouse集群已经建好，集群有2个分片（shard），每个分片有2个副本（replica），下一篇在研究clickhouse表相关的内容。

[https_repo.clickhouse.tech_tgz_stable]: https://repo.clickhouse.tech/tgz/stable/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1dGlhbjcxMw_size_16_color_FFFFFF_t_70]: /images/20221024/3b8ee5afb6fe467da63f86c18e921fe8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1dGlhbjcxMw_size_16_color_FFFFFF_t_70 1]: /images/20221024/d7bfa0c7a6e44ad4a6d93b03e20e0629.png
[2021020215550074.png]: /images/20221024/d72015e874a04ef48dc73025df27fcdd.png
[20210202155534470.png]: /images/20221024/eeadb80ac2ba4287a373dc7bf171822b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1dGlhbjcxMw_size_16_color_FFFFFF_t_70 2]: /images/20221024/6cd6b16aa3c94b98972a3516edefcc63.png