使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch

不念不忘少年蓝@ 2023-07-09 13:27 22阅读 0赞

1.go-mysql-elasticsearch简介

go-mysql-elasticsearch是一个将MySQL数据自动同步到Elasticsearch的服务。

它首先使用mysqldump获取原始数据，然后用binlog增量地同步数据。

github地址：https://github.com/siddontang/go-mysql-elasticsearch

**这里有几点注意事项：**

*  1.Mysql的binlog必须是ROW模式，不然启动会报错。
 *  2.连接Mysql的用户权限需要大一些。

2.安装

2.1 安装go

安装go

yum install -y go

安装godep

go get github.com/tools/godep

下载go-mysql-elastisearch插件

go get github.com/siddontang/go-mysql-elasticsearch

进入对应目录，比如我使用的如下目录/root/go/src/github.com/siddontang/go-mysql-elasticsearch

cd /root/go/src/github.com/siddontang/go-mysql-elasticsearch

编译

make

2.2 Mysql开启binlog

接下来需要在mysql中开启binlog，首先查询一下是否开启了binlog。

进入mysql

mysql -uroot -p

输入密码，然后输入如下命令查看binlog开启状态

show variables like '%log_bin%';

如图所示，ON为开启了，如果没有开启的话为OFF。

![使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch][go-mysql-elasticsearch_mysql_ElasticSearch]

如果没有开启的话，需要在my.cnf配置中添加如下配置(其中server-id可以根据情况设置，这里设置为1，log-bin为日志位置，一定要给日志写的权限，不然会报错，binlog\_format为模式，这里必须为ROW)：

server-id=1
    log-bin=/usr/local/mysql-log/mysql-bin.log
    binlog_format="ROW"

设置完成后重启mysql.

service mysqld restart

如图重启成功，如果失败可以查看一下错误日志，这里不做过多介绍。

![使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch][go-mysql-elasticsearch_mysql_ElasticSearch 1]

3.配置go-mysql-elasticsearch

需要配置一下go-mysql-elasticsearch，样例在：https://github.com/siddontang/go-mysql-elasticsearch/blob/master/etc/river.toml

本文测试的配置文件内容如下：

# MySQL 配置：地址，用户名，密码
    my_addr = "ip:3306" 
    my_user = "root"
    my_pass = "***"
    # Elasticsearch地址
    es_addr = "ip:端口"
     
    # 存储数据的位置
    data_dir = "./var"
     
    # Inner Http status address
    stat_addr = "127.0.0.1:12800"
     
    # pseudo server id like a slave
    server_id = 1001
     
    # mysql or mariadb
    flavor = "mysql"
     
    # mysql备份文件，如果不设置或设置为空，则跳过
    # mysqldump = "mysqldump"
     
    # minimal items to be inserted in one bulk
    bulk_size = 128
     
    # force flush the pending requests if we don't have enough items >= bulk_size
    flush_bulk_time = "200ms"
     
    # Ignore table without primary key
    skip_no_pk_table = false
     
    # MySQL数据源，schema：数据库，tables：表
    [[source]]
    schema = "test"
    tables = ["link_info"]
    [[rule]]
    schema = "test"
    table = "link_info"
    index = "test_mysql2"
    type = "link_info"

4.运行go-mysql-elasticsearch

配置完成后，运行go-mysql-elasticsearch

bin/go-mysql-elasticsearch -config=river.toml
    如图所示运行成功。

![使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch][go-mysql-elasticsearch_mysql_ElasticSearch 2]

5.检验

查看es-head，如图

![使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch][go-mysql-elasticsearch_mysql_ElasticSearch 3]

数据都存在，然后修改id为5的数据，查看go-mysql-elasticsearch控制台，果然监听到了变化，如图

![使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch][go-mysql-elasticsearch_mysql_ElasticSearch 4]

在次查看es-head，如图，数据也变化了。

![使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch][go-mysql-elasticsearch_mysql_ElasticSearch 5]

6.总结

由于没上过生产，所以只对我个人测试使用进行评价，安装上和数据同步感觉很友好，因为结合binlog的原因，可以实现同步增删改。对于网上说的日志很少和不成熟等说法，这里不评价。

[go-mysql-elasticsearch_mysql_ElasticSearch]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzk0OWEwYjQ5MGI4NzQxYTk4ZjdhMWI5ZTc5MjcxYjRm?x-oss-process=image/format,png
[go-mysql-elasticsearch_mysql_ElasticSearch 1]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzJlY2I1Y2I0ZTA3MzQ3MWNhZThlNTRiMjdmMWM1Mzdm?x-oss-process=image/format,png
[go-mysql-elasticsearch_mysql_ElasticSearch 2]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzM2MmVjMGY3MmU2MDQzZTRhMzQ3ZjE0YTE3OThlNDJj?x-oss-process=image/format,png
[go-mysql-elasticsearch_mysql_ElasticSearch 3]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2E3ZjI3NDIyMGY1MjQ1NGNiM2U2YmRhZWYyN2YxMDcz?x-oss-process=image/format,png
[go-mysql-elasticsearch_mysql_ElasticSearch 4]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzhkZTNjYmZmYTdkODRiZTQ4OGQxMzhkMGJmYjAyZTY3?x-oss-process=image/format,png
[go-mysql-elasticsearch_mysql_ElasticSearch 5]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2MxN2E3YzM2NmZjZjRmODZhMGUwMDkyNjY3MmY1NjVm?x-oss-process=image/format,png