docker部署logstash实现mysql数据同步至elasticsearch

待我称王封你为后i 2023-01-01 02:49 222阅读 0赞

elk是最佳组合，通过测试logstash同步数据的性能还是很靠谱的

以下是部署步骤记录，可实现增量或者全量，只需要改一下lastValue的值即可

**目录**

1.拉取loastash镜像

2、创建logstash目录，并创建一下目录及文件，如下

3、创建Dockerfile，内容如下：

4、jar下方的是mysql 驱动jar

5、创建lastValue目录来存放上次执行的记录值，并创建本次任务记录文件如下：（可以不创建，每个批次后会自动写入）

6、创建pipeline目录并创建，本次任务的配置文件，logstash.conf

7、打包镜像

8、启动服务

后续相关命令：

--------------------

## 1.拉取loastash镜像 ##

docker pull logstash

当前版本应该是7.10.1

## 2、创建logstash目录，并创建一下目录及文件，如下 ##

[root@test-zjzb-1: /opt/logstash]# ll
    
    total 16
    
    -rw-r--r-- 1 root root  267 Dec 30 16:08 Dockerfile
    
    drwxr-xr-x 2 root root 4096 Dec 30 16:08 jar
    
    drwxr-xr-x 2 root root 4096 Dec 30 16:33 lastValue
    
    drwxr-xr-x 2 root root 4096 Dec 30 16:34 pipeline

## 3、创建Dockerfile，内容如下： ##

## 4、jar下方的是mysql 驱动jar ##

[root@test-zjzb-1: /opt/logstash]# cd jar
    
    [root@test-zjzb-1: /opt/logstash/jar]# ls
    
    mysql-connector-java-8.0.21.jar
    
    [root@test-zjzb-1: /opt/logstash/jar]#

## 5、创建lastValue目录来存放上次执行的记录值，并创建本次任务记录文件如下：（可以不创建，每个批次后会自动写入） ##

[root@test-zjzb-1: /opt/logstash/lastValue]# ls
    
    lastId-es
    
    [root@test-zjzb-1: /opt/logstash/lastValue]#
    
    
    
    内容如下：
    
    [root@test-zjzb-1: /opt/logstash/lastValue]# cat lastId-es
    
    --- 20762979

注：--- 20762979

是固定格式，---空格加上次的值

## 6、创建pipeline目录并创建，本次任务的配置文件，logstash.conf ##

内容如下：

[root@test-zjzb-1: /opt/logstash/lastValue]# cd ../pipeline/
    
    [root@test-zjzb-1: /opt/logstash/pipeline]# ls
    
    logstash.conf
    
    [root@test-zjzb-1: /opt/logstash/pipeline]# cat logstash.conf
    
    input {
    
        stdin {
    
        }
    
        jdbc {
    
          jdbc_connection_string => "jdbc:mysql://10.**.**.**:3306/bigdatatest"
    
          jdbc_user => "root"
    
          jdbc_password => "123****1q"
    
          jdbc_driver_library => "/app/mysql-connector-java-8.0.21.jar"
    
          jdbc_driver_class => "com.mysql.jdbc.Driver"
    
          jdbc_paging_enabled => "true"
    
          jdbc_page_size => "30000"
    
          use_column_value => "true"
    
          tracking_column => "id"
    
          statement => "select * from dt_tt_haier_total_order where id > :sql_last_value"
    
          schedule => "* * * * *"
    
          last_run_metadata_path => "/usr/share/logstash/pipeline/lastVule/lastId-es"
    
        }
    
    }
    
    
    
    
    
    filter {
    
        json {
    
            source => "message"
    
            remove_field => ["message"]
    
        }
    
    }
    
    
    
    
    
    output {
    
        elasticsearch {
    
            hosts => ["10.***.***.***:9200"]
    
            index => "test-logstash-index-tank"
    
            document_id => "%{id}"
    
        }
    
        stdout {
    
            codec => json_lines
    
        }
    
    }

注释：

jdbc\_page\_size 每批次分页,默认30万，这里增量改成了3万

tracking\_column指定增量试用的标志字段

statement 执行语句

schedule 周期，以上配置默认一分钟一批次

last\_run\_metadata\_path 增量时上次值储存位置

output 配置输出信息，此处为es配置

input 配置输入信息，此处为mysql

jdbc\_driver\_library 是mysql需要的驱动jar，此处咱们下载后挂在上

## 7、打包镜像 ##

docker build -t uo-bd-logstash .

## 8、启动服务 ##

docker run -it --name uo-bd-logstash \
    
    -v /opt/logstash/lastValue:/usr/share/logstash/pipeline/lastVule/ \
    
    -p 20726:5044 -p 20725:9600 \
    
    -d uo-bd-logstash

## 后续相关命令： ##

查看日志 docker logs -f uo-bd-logstash

停止服务 docker stop uo-bd-logstash

删除容器docker rm uo-bd-logstash

删除镜像docker rmi uo-bd-logstash