elasticsearch与MySQL数据同步

逃离我推掉我的手 2021-11-09 08:22 426阅读 0赞

**1:Logstash**

1.1:什么是Logstash

Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集 起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。

1.2Logstash安装与测试

官网下载Logstash解压就可以了

进入bin目录，运行以下命令

./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

控制台输入字符，随后就有日志输出

stdin，表示输入流，指从键盘输入 stdout，表示输出流，指从显示器输出 命令行参数:

\-e 执行

\--config 或 -f 配置文件，后跟参数类型可以是一个字符串的配置或全路径文件名或全路径 路径(如：/etc/logstash.d/，logstash会自动读取/etc/logstash.d/目录下所有\*.conf 的文 本文件，然后在自己内存里拼接成一个完整的大配置文件再去执行)

**2:****MySQL数据导入Elasticsearch**

(1）在logstash安装目录下创建文件夹mysqletc （名称随意）

(2）文件夹下创建mysql.conf （名称随意） ，内容如下：

input {
    
    jdbc {
    
    # mysql jdbc connection string to our backup databse 对应mysql中的test数据库
    
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mybatis-plus-test?characterEncoding=UTF8"
    
    # the user we wish to excute our statement as
    
    jdbc_user => "root"
    
    jdbc_password => "root1234"
    
    # the path to our downloaded jdbc driver
    
    jdbc_driver_library => "/Applications/MrWang/Maven/privite_wang_repository/mysql/mysql-connector-java/8.0.16/mysql-connector-java-8.0.16.jar"
    
    #the name of the driver class for mysql
    
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    
    jdbc_paging_enabled => "true"
    
    jdbc_page_size => "50000"
    
    #以下对应着要执行的sql的绝对路径。
    
    statement => "select * from wl_user"
    
    #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为 每分钟都更新
    
    schedule => "* * * * *"
    
    
    
    }
    
    }
    
    
    
    output {
    
    
    
    elasticsearch {
    
    #ESIP地址与端口
    
    hosts => "localhost:9200"
    
    #ES索引名称（自己定义的）
    
    index => "wl_user"
    
    #自增ID编号
    
    document_id => "%{id}"
    
    #document_id => wl_user.id
    
    document_type => "wl_user"
    
    
    
    }
    
    stdout {
    
    #以JSON格式输出
    
    codec => json_lines
    
    }
    
    
    
    }

(3)命令行下执行

bin/logstash -f /mysqletc/mysql.conf

坑：我的是苹果电脑所以路径这里 没有 C、D、E、F盘，如果是Windows用户 请写自己的正确地址（这行代码：jdbc\_driver\_library => "/Applications/MrWang/Maven/privite\_wang\_repository/mysql/mysql-connector-java/8.0.16/mysql-connector-java-8.0.16.jar”）

观察控制台输出，每间隔1分钟就执行一次sql查询。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMjI3Mjgx_size_16_color_FFFFFF_t_70][]

我数据库这张表就写了一条测试数据，浏览器输入[http://localhost:9100/][http_localhost_9100]查看head插件中是否有数据库的数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMjI3Mjgx_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMjI3Mjgx_size_16_color_FFFFFF_t_70]: /images/20211109/ee60873df0f64fc29f5c7727668f3140.png
[http_localhost_9100]: http://localhost:9100/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMjI3Mjgx_size_16_color_FFFFFF_t_70 1]: /images/20211109/5018e7a85b514c05b700626994808cc9.png