ClickHouse性能测试

古城微笑少年丶 2023-07-18 14:17 3阅读 0赞

> 对ClickHouse做个简单的性能测试。

#### ClickHouse简介 ####

ClickHouse是战斗民族Yandex公司出品的OLAP开源数据库，简称CH，也有人简称CK，是目前市面上最快的OLAP数据库。性能远超Vertica、Sybase IQ等。

CH具有以下几个特点：

1.  列式存储，因此数据压缩比高。
2.  向量计算，且支持多核CPU并行计算，并且执行每个SQL时都力求榨干CPU性能。
3.  基于Shared nothing架构，支持分布式方案。
4.  支持主从复制架构。
5.  兼容大部分SQL语法，其语法和MySQL尤其相近。
6.  数据实时更新。
7.  不支持事务，不适合高频更新数据。
8.  建议多用宽表，但不建议总是查询整数据行中的所有列。

简言之，如果你有以下业务场景，可以考虑用CH：

1.  海量数据，但又不希望单节点的存储空间消耗太高。
2.  宽表，为了业务方便，可能会把很多相关数据列都整合到一个表里。
3.  基于SQL的查询方式，提高程序的适用性和可移植性。

#### 性能测试 ####

我选用了CH官方提供的一个测试方案：SSBM (Star Schema Benchmark)。  
测试机配置：

- 腾讯云CVM主机
    - 标准型S5机型
    - 4核16G
    - 外挂500G SSD云硬盘

数据盘采用xfs文件系统，ioscheduler采用deadline方式：

[root@yejr.me]# cat /etc/fstab
    /dev/vdb /data xfs defaults,noatime,nodiratime,nobarrier 0 0
    
    [root@yejr.me]# cat /sys/block/vdb/queue/scheduler
    [mq-deadline] kyber none

生成测试数据。

# 下载SSBM工具
    [root@yejr.me]# git clone https://github.com/vadimtk/ssb-dbgen.git
    [root@yejr.me]# cd ssb-dbgen
    [root@yejr.me]# make
    
    # 生成测试数据，机器性能和磁盘有限，所以指定 -s 100
    [root@yejr.me]# ./dbgen -s 100 -T c
    [root@yejr.me]# ./dbgen -s 100 -T p
    [root@yejr.me]# ./dbgen -s 100 -T s
    [root@yejr.me]# ./dbgen -s 100 -T l
    
    [root@yejr.me]# wc -l *tbl
      3000000 customer.tbl
      1400000 part.tbl
       200000 supplier.tbl
    
    [root@yejr.me]# ls -l *tbl
    -rw-r--r-- 1 root root 331529327 Mar 28 21:17 customer.tbl
    -rw-r--r-- 1 root root 140642413 Mar 28 21:17 part.tbl
    -rw-r--r-- 1 root root  19462852 Mar 28 21:17 supplier.tbl

创建测试表，根据CH官网提供的建表DDL直接创建即可，参考这里：**Star Schema Benchmark**（ https://clickhouse.tech/docs/en/getting\_started/example\_datasets/star\_schema/ ）。

导入数据。

[root@yejr.me]# clickhouse-client --query "INSERT INTO customer FORMAT CSV" < customer.tbl
    [root@yejr.me]# clickhouse-client --query "INSERT INTO part FORMAT CSV" < part.tbl
    [root@yejr.me]# clickhouse-client --query "INSERT INTO supplier FORMAT CSV" < supplier.tbl
    [root@yejr.me]# clickhouse-client --query "INSERT INTO lineorder FORMAT CSV" < lineorder.tbl

这是导入测试数据的耗时以及导完后表空间大小的数据。

<table> 
 <thead> 
  <tr> 
   <th>表</th> 
   <th>表数据量</th> 
   <th>耗时（秒）</th> 
   <th>tbl文件大小</th> 
   <th>表空间大小</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>customer</td> 
   <td>3,000,000</td> 
   <td>2.923</td> 
   <td>317M</td> 
   <td>116M</td> 
  </tr> 
  <tr> 
   <td>part</td> 
   <td>1,400,000</td> 
   <td>1.573</td> 
   <td>135M</td> 
   <td>25M</td> 
  </tr> 
  <tr> 
   <td>supplier</td> 
   <td>200,000</td> 
   <td>0.305</td> 
   <td>19M</td> 
   <td>7.7M</td> 
  </tr> 
  <tr> 
   <td>lineorder</td> 
   <td>600,037,902</td> 
   <td>837.288</td> 
   <td>67G</td> 
   <td>17G</td> 
  </tr> 
  <tr> 
   <td>lineorder_flat</td> 
   <td>600,037,902</td> 
   <td>2318.616</td> 
   <td><br></td> 
   <td>54G</td> 
  </tr> 
 </tbody> 
</table>

只看最大的**lineorder**表，对tbl文件的压缩比可以达到4:1，如果是相对常规的OLTP数据库，其压缩比显然还要更高。

运行SSBM的几个标准查询耗时

每次扫描这么多数据量，但这些统计分析为主的SQL查询耗时却并不大，足见CH的计算性能了。

今天先简单介绍到这里，以后有机会再继续分享。

--------------------

由叶老师主讲的知数堂「MySQL优化课」第17期已发车，课程从第15期就升级成MySQL 8.0版本了，现在上车刚刚好，扫码开启MySQL 8.0的修行之旅吧。

![format_png][]

--------------------

另外，叶老师在腾讯课堂的短课程《**MySQL性能优化**》已开课，本课程讲解读几个MySQL性能优化的核心要素：**合理利用索引，降低锁影响，提高事务并发度**。

下面是报名小程序码

![format_png 1][]

点“在看”给我一朵小黄花![format_png 2][]

![format_png 3][]

[format_png]: /images/20230528/40b7f5bfa7714c49b7a3c62bbf6e85cb.png
[format_png 1]: /images/20230528/cdb340547fb345d2af2992bb1a652156.png
[format_png 2]: /images/20230528/e4414e8c22d047b097bdd4516b863b58.png
[format_png 3]: /images/20230528/e47985d9e352462a9e3f474206354aa1.png