实现MySQL数据同步到ElasticSearch中

水深无声 2022-04-13 02:46 599阅读 0赞

# 一、场景 #

笔者最近在写全文搜索引擎服务，用到的是ElasticSearch框架，该篇博客就如何实现MySQL数据同步到ES中进行阐述

--------------------

# 二、解决方案 #

**运行系统：mac系统下**

**采用到的技术：ES2.4、logstash-2.4.1**

**用到的相关插件：ES-head、logstash-input-jdbc、logstash-output-elasticsearch**

**其安装该篇博客就不多做阐述。**

**读者安装完以上的相关插件后，进入logstash-2.4.1目录下，创建config文件夹，在config文件夹下创建****logstash-mysql.conf并下载mysql-connector-java-5.1.39.jar包如图（还有：再创建个logs目录，来放日志）**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70][]**

**logstash-mysql.conf中的内容如下**

input {
      jdbc {
        jdbc_driver_library => "./config/mysql-connector-java-5.1.39.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 数据库相关配置
        jdbc_connection_string => "jdbc:mysql://localhost:3306/wcspider?characterEncoding=UTF-8&useSSL=false"
        jdbc_user => "root"
        jdbc_password => "1111"
        statement => "SELECT * FROM shiyuemami limit 0,1"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        schedule => "* * * * *"
      }
    }
    
    filter {
       json {
            source => "message"
            remove_field => ["message"]
        }
    }
    
    output {
      stdout {
        codec => rubydebug
      }
      elasticsearch {
        hosts => "localhost"
        #将mysql数据加入myindex索引下，会自动创建
        index => "myindex"
      }        
    }

完成后，记得启动es : brew services start elasticsearch@2.4

然后进入**logstash-2.4.1目录下：输入命令：**nohup bin/logstash -f config/logstash-mysql.conf > logs/logstash.out &

如果要停止该文件运行，可以直接kill掉进程，进程号会在执行上面的命令时打印出来

可以看到logs目录下生成logstash.out

打开logstash.out会看到同步到es的相关数据

打开[http://localhost:9200/\_plugin/head/][http_localhost_9200_plugin_head]，可以看到数据已经同步到es中了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70]: /images/20220413/57d82598151a4d3f8b2c63a349f4b8c3.png
[http_localhost_9200_plugin_head]: http://localhost:9200/_plugin/head/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70 1]: /images/20220413/7ac3f7fd400d4decb04251ddef6ea836.png