MySQL迁移到ClickHouse方案

你的名字 2022-11-07 11:36 337阅读 0赞

# MySQL迁移到ClickHouse方案 #

> 这篇文章主要介绍了mysql迁移到clickhouse的几种方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下。数据迁移需要从mysql导入clickhouse, 总结方案如下，包括clickhouse自身支持的方式及第三方工具迁移方案。

### ClickHouse同步建表 ###

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>create</code> <code>table</code> <code>engin mysql</code> <code>CREATE</code> <code>TABLE</code> <code>[IF </code><code>NOT</code> <code>EXISTS] [db.]table_name [</code><code>ON</code> <code>CLUSTER cluster]</code> <code>(</code> <code>&nbsp;</code><code>name1 [type1] [</code><code>DEFAULT</code><code>|MATERIALIZED|ALIAS expr1] [TTL expr1],</code> <code>&nbsp;</code><code>name2 [type2] [</code><code>DEFAULT</code><code>|MATERIALIZED|ALIAS expr2] [TTL expr2],</code> <code>&nbsp;</code><code>...</code> <code>&nbsp;</code><code>INDEX</code> <code>index_name1 expr1 TYPE type1(...) GRANULARITY value1,</code> <code>&nbsp;</code><code>INDEX</code> <code>index_name2 expr2 TYPE type2(...) GRANULARITY value2</code> <code>) ENGINE = MySQL(</code><code>'host:port'</code><code>, </code><code>'database'</code><code>, </code><code>'table'</code><code>, </code><code>'user'</code><code>, </code><code>'password'</code><code>[, replace_query, </code><code>'on_duplicate_clause'</code><code>]);</code> </td> 
 </tr> 
 </tbody> 
</table>

*官方文档: [https://clickhouse.yandex/docs/en/operations/table\_engines/mysql/][https_clickhouse.yandex_docs_en_operations_table_engines_mysql]*

**注意，实际数据存储在远端mysql数据库中，可以理解成外表。**

可以通过在mysql增删数据进行验证。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> #<code>insert</code> <code>into</code> <code>select方法</code> <code>insert</code> <code>into</code> <code>select</code> <code>from</code> &nbsp; <code>-- 先建表</code> <code>CREATE</code> <code>TABLE</code> <code>[IF </code><code>NOT</code> <code>EXISTS] [db.]table_name [</code><code>ON</code> <code>CLUSTER cluster]</code> <code>(</code> <code>&nbsp;</code><code>name1 [type1] [</code><code>DEFAULT</code><code>|MATERIALIZED|ALIAS expr1],</code> <code>&nbsp;</code><code>name2 [type2] [</code><code>DEFAULT</code><code>|MATERIALIZED|ALIAS expr2],</code> <code>&nbsp;</code><code>...</code> <code>) ENGINE = engine</code> <code>-- 导入数据</code> &nbsp; <code>INSERT</code> <code>INTO</code> <code>[db.]</code><code>table</code> <code>[(c1, c2, c3)] </code><code>select</code> <code>列或者* </code><code>from</code> <code>mysql(</code><code>'host:port'</code><code>, </code><code>'db'</code><code>, </code><code>'table_name'</code><code>, </code><code>'user'</code><code>, </code><code>'password'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

可以自定义列类型，列数，使用clickhouse函数对数据进行处理，比如

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code>select</code> <code>toDate(xx) </code><code>from</code> <code>mysql(</code><code>"host:port"</code><code>,</code><code>"db"</code><code>,</code><code>"table_name"</code><code>,</code><code>"user_name"</code><code>,</code><code>"password"</code><code>)</code> <code>create</code> <code>table</code> <code>as</code> <code>select</code> <code>from</code> <code>CREATE</code> <code>TABLE</code> <code>[IF </code><code>NOT</code> <code>EXISTS] [db.]table_name</code> <code>ENGINE =Log</code> <code>AS</code> <code>SELECT</code> <code>*</code> <code>FROM</code> <code>mysql(</code><code>'host:port'</code><code>, </code><code>'db'</code><code>, </code><code>'article_clientuser_sum'</code><code>, </code><code>'user'</code><code>, </code><code>'password'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

网友文章: [http://jackpgao.github.io/2018/02/04/ClickHouse-Use-MySQL-Data/][http_jackpgao.github.io_2018_02_04_ClickHouse-Use-MySQL-Data]

### Altinity开源工具 ###

不支持自定义列，参考资料里的博主写的` ENGIN=MergeTree `测试失败。

可以理解成 `create table` 和 `insert into select `的组合

`Altinity/clickhouse-mysql-data-reader`

Altinity公司开源的一个python工具，用来从mysql迁移数据到clickhouse(支持binlog增量更新和全量导入)，但是官方readme和代码脱节，根据quick start跑不通。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 </td> 
 <td> <code>## 创建表</code> <code>clickhouse-mysql \</code> <code>&nbsp;</code><code>--src-host=127.0.0.1 \</code> <code>&nbsp;</code><code>--src-user=reader \</code> <code>&nbsp;</code><code>--src-password=Qwerty1# \</code> <code>&nbsp;</code><code>--table-templates-with-create-database \</code> <code>&nbsp;</code><code>--src-table=airline.ontime &gt; create_clickhouse_table_template.sql</code> <code>## 修改脚本</code> <code>vim create_clickhouse_table_template.sql</code> <code>## 导入建表</code> <code>clickhouse-client -mn &lt; create_clickhouse_table_template.sql</code> <code>## 数据导入</code> <code>clickhouse-mysql \</code> <code>&nbsp;</code><code>--src-host=127.0.0.1 \</code> <code>&nbsp;</code><code>--src-user=reader \</code> <code>&nbsp;</code><code>--src-password=Qwerty1# \</code> <code>&nbsp;</code><code>--table-migrate \</code> <code>&nbsp;</code><code>--dst-host=127.0.0.1 \</code> <code>&nbsp;</code><code>--dst-table=logunified \</code> <code>&nbsp;</code><code>--csvpool</code> </td> 
 </tr> 
 </tbody> 
</table>

*官方文档: [https://github.com/Altinity/clickhouse-mysql-data-reader\#mysql-migration-case-1—migrate-existing-data][https_github.com_Altinity_clickhouse-mysql-data-reader_mysql-migration-case-1_migrate-existing-data]*

> 注意，上述三种都是从mysql导入clickhouse，如果数据量大，对于mysql压力还是挺大的。下面介绍两种离线方式(streamsets支持实时，也支持离线)

[https_clickhouse.yandex_docs_en_operations_table_engines_mysql]: https://clickhouse.yandex/docs/en/operations/table_engines/mysql/
[http_jackpgao.github.io_2018_02_04_ClickHouse-Use-MySQL-Data]: http://jackpgao.github.io/2018/02/04/ClickHouse-Use-MySQL-Data/
[https_github.com_Altinity_clickhouse-mysql-data-reader_mysql-migration-case-1_migrate-existing-data]: https://github.com/Altinity/clickhouse-mysql-data-reader#mysql-migration-case-1%E2%80%94migrate-existing-data