【clickhouse系列】为什么有空part存在

今天药忘吃喽~ 2023-01-22 06:58 21阅读 0赞

## 问题 ##

有时候偶尔会发现ClickHouse会存在许多空part，并且一直不会被删除。一般是因为为表设置了TTL的问题，早期版本会保留空part，查询part也会返回0行。

SELECT
        partition,
        name,
        active,
        rows
    FROM system.parts
    WHERE (table = 'query_log') AND active
    
    ┌─partition──┬─name────────────────────────┬─active─┬──rows─┐
    │ 2021-04-15 │ 20210415_1_915_184          │      1 │     0 │
    │ 2021-04-16 │ 20210416_916_6714_3257      │      1 │     0 │
    │ 2021-04-17 │ 20210417_6715_12475_3136    │      1 │     0 │
    │ 2021-04-18 │ 20210418_12476_18236_3134   │      1 │     0 │
    ......
    └────────────┴─────────────────────────────┴────────┴───────┘

## 解决方法 ##

这其实是个bug（[5491][]），在20.12版本修复并增加删除空part的新功能。但是在升级前要先清理掉全部空part，因为新版本在启动时会尝试扫描并删除，当同一张表的不同副本开始同时删除空part时，会出现问题（[23292][]）。所以可以按照一下两个步骤进行升级：

1.  升级前先删除空分区，以减少系统中的空部件数量
    
        SELECT concat('alter table ', database, '.', table, ' drop partition id \'', partition_id, '\';')
        FROM system.parts
        WHERE active
        GROUP BY
            database,
            table,
            partition_id
        HAVING count() = countIf(rows = 0)
        
        ┌─concat('alter table ', database, '.', table, ' drop partition id \'', partition_id, '\';')─┐
        │ alter table system.query_log drop partition id '20210417';                                 │
        │ alter table system.query_log drop partition id '20210416';                                 │
        │ alter table system.query_log drop partition id '20210415';                                 │
        │ alter table system.query_log drop partition id '20210418';                                 │
        └────────────────────────────────────────────────────────────────────────────────────────────┘
2.  一次升级/重新启动一个副本（在一个分片中）
    
    如果一个shard只有一个副本正在清理空part，则不会导致死锁。重启一个副本，等待复制队列处理完毕，再重启下一个副本。

补充：

也可以通过配置remove\_empty\_parts = 0来禁止删除空零件。

$ cat /etc/clickhouse-server/users.d/remove_empty_parts.xml
    <yandex>
        <profiles>
            <default>
                <remove_empty_parts>0</remove_empty_parts>
            </default>
        </profiles>
    </yandex>

[5491]: https://github.com/ClickHouse/ClickHouse/issues/5491
[23292]: https://github.com/ClickHouse/ClickHouse/issues/23292