canal--将MySQL的数据同步到ElasticSearch

╰半橙微兮° 2023-10-01 08:15 10阅读 0赞

原文网址：[canal--将MySQL的数据同步到ElasticSearch\_IT利刃出鞘的博客-CSDN博客][canal--_MySQL_ElasticSearch_IT_-CSDN]

## 简介 ##

**说明**

本文介绍使用canal将数据从MySQL同步到ElasticSearch的方案。

有如下三种实现方案：

1.  client-adapter（canal-adapter服务）
    
    1.  无需编写代码，只修改配置文件即可进行同步
    2.  目前支持：
        
        1.  关系型数据库（MySQL、Oracle、PostgresSQL、SQLServer）
        2.  HBase
        3.  MongoDB
        4.  ElasticSearch单表同步
    3.  后续会支持
        
        1.  ElasticSearch多表同步
        2.  Redis
2.  Java代码订阅canal数据
    
    1.  写代码连接到canal服务器，订阅canal数据。
    2.  灵活度很高，接收到数据后可以自由处理。
3.  Java代码订阅canal通过MQ发出的消息
    
    1.  目前支持RocketMQ、Kafka。
    2.  需要编写代码。
    3.  灵活度很高，接收到数据后可以自由处理。

**官网**

wiki：[https://github.com/alibaba/canal/wiki][https_github.com_alibaba_canal_wiki]  
快速开始：[https://github.com/alibaba/canal/wiki/QuickStart][https_github.com_alibaba_canal_wiki_QuickStart]  
canal-admin：[https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart][https_github.com_alibaba_canal_wiki_Canal-Admin-QuickStart]

## **canal简介** ##

**说明**

canal \[kə'næl\]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

canal**只支持增量同步，不支持全量同步**。

**工作原理**

*  canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议
 *  MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
 *  canal 解析 binary log 对象(原始为 byte 流)

**原理图**

![d59148f6b1f49ef60c92ef1271fbccdd.png][]

## 方案1：ClientAdapter ##

**简介**

1.  无需编写代码，只修改配置文件即可进行同步
2.  目前支持：
    
    1.  关系型数据库（MySQL、Oracle、PostgresSQL、SQLServer）
    2.  HBase
    3.  MongoDB
    4.  ElasticSearch单表同步
3.  后续会支持
    
    1.  ElasticSearch多表同步
    2.  Redis

**官网**

[https://github.com/alibaba/canal/wiki/ClientAdapter][https_github.com_alibaba_canal_wiki_ClientAdapter]

**实例**

[使用canal实时增量同步mysql数据库数据到ElasticSearch\_JineD的博客-CSDN博客][canal_mysql_ElasticSearch_JineD_-CSDN]

[canal实现MySQL实时同步数据到ES\_S&Y\_shhy\_QQ\_1127833416-CSDN博客][canal_MySQL_ES_S_Y_shhy_QQ_1127833416-CSDN]

[mysql增量同步 - canal - SegmentFault 思否][mysql_ - canal - SegmentFault]

## 方案2：订阅canal ##

**简介**

1.  写代码连接到canal服务器，订阅canal数据。
2.  灵活度很高，接收到数据后可以自由处理。

**官网**

[ClientAPI · alibaba/canal Wiki · GitHub][ClientAPI _ alibaba_canal Wiki _ GitHub]

**实例**

[通过canal将mysql中数据同步到elasticsearch\_路西法Lucifer-CSDN博客][canal_mysql_elasticsearch_Lucifer-CSDN]

[mysql增量同步 - canal - SegmentFault 思否][mysql_ - canal - SegmentFault]

[利用Canal完成Mysql数据同步Redis-CSDN博客][Canal_Mysql_Redis-CSDN]

## **方案3：订阅canal的MQ** ##

**简介**

canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有：RocketMQ、kafka。

**官网**

[https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart][https_github.com_alibaba_canal_wiki_Canal-Kafka-RocketMQ-QuickStart]

[canal--_MySQL_ElasticSearch_IT_-CSDN]: https://knife.blog.csdn.net/article/details/121697686
[https_github.com_alibaba_canal_wiki]: https://github.com/alibaba/canal/wiki
[https_github.com_alibaba_canal_wiki_QuickStart]: https://github.com/alibaba/canal/wiki/QuickStart
[https_github.com_alibaba_canal_wiki_Canal-Admin-QuickStart]: https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart
[d59148f6b1f49ef60c92ef1271fbccdd.png]: https://img-blog.csdnimg.cn/img_convert/d59148f6b1f49ef60c92ef1271fbccdd.png
[https_github.com_alibaba_canal_wiki_ClientAdapter]: https://github.com/alibaba/canal/wiki/ClientAdapter
[canal_mysql_ElasticSearch_JineD_-CSDN]: https://blog.csdn.net/JineD/article/details/108753551
[canal_MySQL_ES_S_Y_shhy_QQ_1127833416-CSDN]: https://blog.csdn.net/SHYLOGO/article/details/109450203
[mysql_ - canal - SegmentFault]: https://segmentfault.com/a/1190000038920200
[ClientAPI _ alibaba_canal Wiki _ GitHub]: https://github.com/alibaba/canal/wiki/ClientAPI
[canal_mysql_elasticsearch_Lucifer-CSDN]: https://blog.csdn.net/qq_37495786/article/details/106309159
[Canal_Mysql_Redis-CSDN]: https://blog.csdn.net/clypm/article/details/80599819
[https_github.com_alibaba_canal_wiki_Canal-Kafka-RocketMQ-QuickStart]: https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart