docker 安装ES集成 kibana 使用logstash 同步Mysql数据库

心已赠人 2021-11-11 06:06 376阅读 0赞

第一步下载不写版本默认最新的

docker pull elasticsearch

第二步启动

docker run -it --name elasticsearch -d -p 9200:9200 -p 9300:9300 -p 5601:5601 elasticsearch

\-p 5601:5601 是kibana的端口地址 (我这里kibana的container共用elasticsearch的网络，所以这样设置

第三步进行访问：注如果访问不到确认防火墙是否关闭  ----可以使用命令关闭：systemctl stop firewalld.service

[http://192.168.74.110:9200][http_192.168.74.110_9200]/

显示下面json说明安装成功

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td> <pre><code>{
  "name" : "Rouw414",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "8NafzKJGT5e9URHk1bf1nA",
  "version" : {
    "number" : "5.6.12",
    "build_hash" : "cfe3d9f",
    "build_date" : "2018-09-10T20:12:43.732Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
}</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

安装Kibana

docker run -it -d -e ELASTICSEARCH\_URL=http://127.0.0.1:9200 --name kibana --network=container:elasticsearch kibana

测试运行结果

http://[192.168.74.110][http_192.168.74.110_9200]:5601/app/kibana

以上但基本安装成功

现在需要做到---**logstash mysql 同步到 elasticsearch**

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0pt;">1.上传logstash-6.4.3.tar.gz到服务中 -----<span style="color:#f33b45;">这个可以自行百度搜索下载</span></p> <p style="margin-left:0pt;">2.tar –zxvf &nbsp;logstash-6.4.3.tar.gz</p> <p style="margin-left:0pt;">3.cd logstash-6.4.3</p> <p style="margin-left:0pt;">4. bin/logstash-plugin install logstash-input-jdbc&nbsp; &nbsp; &nbsp; --还需要安装一下两个插件</p> <p style="margin-left:0pt;">5. bin/logstash-plugin install logstash-output-elasticsearch</p> </td> 
  </tr> 
 </tbody> 
</table>

然后上传需要同步mysql的配置文件  ---一个输入、一个输出需要配置你的数据库信息 上传到咱们安装好的logstash-6.4.3 目录中

mysql.conf

<table> 
 <tbody> 
  <tr> 
   <td> <p>input { <br> &nbsp; jdbc { <br> &nbsp; &nbsp; jdbc_driver_library =&gt; "<span style="color:#f33b45;">/usr/local/sql/mysql-connector-java-5.1.46.jar</span>"&nbsp; #别忘记下载这个<br> &nbsp; &nbsp; jdbc_driver_class =&gt; "com.mysql.jdbc.Driver"<br> &nbsp; &nbsp; jdbc_connection_string =&gt; "jdbc:mysql://192.168.74.110:3308/test"<br> &nbsp; &nbsp; jdbc_user =&gt; "root"<br> &nbsp; &nbsp; jdbc_password =&gt; "root"<br> &nbsp; &nbsp; schedule =&gt; "* * * * *"<br> &nbsp; &nbsp; statement =&gt; "SELECT * FROM user WHERE update_time &gt;= :sql_last_value"<br> &nbsp; &nbsp; use_column_value =&gt; true<br> &nbsp; &nbsp; tracking_column_type =&gt; "timestamp"<br> &nbsp; &nbsp; tracking_column =&gt; "update_time"<br> &nbsp; &nbsp; last_run_metadata_path =&gt; "syncpoint_table"<br> &nbsp; }<br> }</p> <p><br> output { <br> &nbsp; &nbsp; elasticsearch { <br> &nbsp; &nbsp; &nbsp; &nbsp; # ES的IP地址及端口<br> &nbsp; &nbsp; &nbsp; &nbsp; hosts =&gt; ["192.168.74.110:9200"]<br> &nbsp; &nbsp; &nbsp; &nbsp; # 索引名称 可自定义<br> &nbsp; &nbsp; &nbsp; &nbsp; index =&gt; "user"<br> &nbsp; &nbsp; &nbsp; &nbsp; # 需要关联的数据库中有有一个id字段，对应类型中的id<br> &nbsp; &nbsp; &nbsp; &nbsp; document_id =&gt; "%{id}"<br> &nbsp; &nbsp; &nbsp; &nbsp; document_type =&gt; "user"<br> &nbsp; &nbsp; }<br> &nbsp; &nbsp; stdout { <br> &nbsp; &nbsp; &nbsp; &nbsp; # JSON格式输出<br> &nbsp; &nbsp; &nbsp; &nbsp; codec =&gt; json_lines<br> &nbsp; &nbsp; }<br> }<br> &nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

成功之后咱们使用命令启动一下

./bin/logstash -f mysql.conf 启动 你会发现报错了

因为上面的--/usr/local/sql/mysql-connector-java-5.1.46.jar 你没有、需要下载上传到 usr/local/sql目录下

在启动即可

看下我数据库的

上面玩着如果不给力

### 现在教你如何搭建同步多个表 需要把第一次上传的配置文件在命名为2 修改对应的表 上传到usr/local即可 ###

进入咱们安装的logstash-6.4.3 目录

cd /config/

vi pipelines.yml 这个配置 配置多表 写入如下配置

\- pipeline.id: table1

path.config: "usr/local/sql/mysql.conf "