Logstash 安装配置

旧城等待， 2023-01-07 14:27 302阅读 0赞

Logstash 简介：

Logstash 是一个实时数据收集引擎，可收集各类型数据并对其进行分析，过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。Logstash 建议使用java1.8 有些版本是不支持的，比如java1.9。

一. 下载安装jdk1.8

下载地址：[http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html][http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]

下载好的安装包上传到cpy04.dev.xjh.com的/usr/local/ 目录下并三执行如下操作：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70][]

![2021011810490953.png][]

二. 安装logstash

1. 登陆cpy04.dev.xjh.com(需下载其他版本请点击：[https://www.elastic.co/downloads/logstash][https_www.elastic.co_downloads_logstash]  )

<table style="width:502.5pt;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#C0C0C0;"> 1 2 3 </td> 
 <td style="border-color:#C0C0C0;"> wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.1.tar.gz -o&nbsp;/opt/logstash-5.6.1.tar.gz tar&nbsp;xf&nbsp;/opt/logstash-5.6.1.tar.gz -C&nbsp;/usr/local mv&nbsp;/usr/local/logstash-5.6.1&nbsp;/usr/local/logstash </td> 
 </tr> 
 </tbody> 
</table>

三、配置logstash

1. 编辑 /usr/local/logstash/config/logstash.yml配置文件修改如下内容：

2. 新建持久化目录：

<table style="width:502.5pt;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#C0C0C0;"> 1 </td> 
 <td style="border-color:#C0C0C0;"> mkdir&nbsp;-p&nbsp;/usr/local/logstash/plugin-data </td> 
 </tr> 
 </tbody> 
</table>

3. 配置logstash 从Filebeat 输入、过滤、输出至elasticsearch（logstash 有非常多插件，详见官网,此处不列举）

3.1 安装logstash-input-jdbc 和logstash-input-beats-master 插件

<table style="width:502.5pt;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#C0C0C0;"> 1 2 3 </td> 
 <td style="border-color:#C0C0C0;"> /usr/local/logstash/bin/logstash-plugin&nbsp;install&nbsp;&nbsp;logstash-input-jdbc wget https://github.com/logstash-plugins/logstash-input-beats/archive/master.zip -O&nbsp;/opt/master.zip unzip -d&nbsp;/usr/local/logstash&nbsp;/opt/master.zip </td> 
 </tr> 
 </tbody> 
</table>

3.2 配置logstash input 段

vim /usr/local/logstash/from\_beat.conf

启动logstash 看是否能接收到filebeat 传过来的日志内容，要确保filebeat 在日志节点上启动正常。此时只测试传入是否正常，并未对原始日志进行过滤和筛选

<table style="width:502.5pt;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#C0C0C0;"> 1 </td> 
 <td style="border-color:#C0C0C0;"> /usr/local/logstash/bin/logstash&nbsp;-f&nbsp;/usr/local/logstash/config/from_beat.conf </td> 
 </tr> 
 </tbody> 
</table>

启动后如果没有报错需要等待logstash 完成，此时间可能比较长

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 1][]

3.3 配置 logstash filter 段，修改/usr/local/logstash/from\_beat.conf 为以下内容，配置完成后再次启动logstash，此时如果成功，输出内容应该是自己正则表达式捕获后的字段切分内容。

<table style="width:502.5pt;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#C0C0C0;"> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 </td> 
 <td style="border-color:#C0C0C0;"> input { beats { port =&gt; 5044 } } filter { &nbsp;&nbsp;&nbsp;&nbsp;#过滤access 日志 &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;( [source] =~&nbsp;"localhost\_access\_log"&nbsp;) { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;grok { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;message =&gt; [&nbsp;"%{COMMONAPACHELOG}"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;date&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; [&nbsp;"request_time",&nbsp;"ISO8601"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;locale =&gt;&nbsp;"cn" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;target =&gt;&nbsp;"request_time" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;#过滤tomcat日志 &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;if&nbsp;( [source] =~&nbsp;"catalina"&nbsp;) { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#使用正则匹配内容到字段 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;grok { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; { message =&gt; [&nbsp;"(?&lt;webapp_name&gt;\[\w+\])\s+(?&lt;request_time&gt;\d{4}\-\d{2}\-\d{2}\s+\w{2}\:\w{2}\:\w{2}\,\w{3})\s+(?&lt;log_level&gt;\w+)\s+(?&lt;class_package&gt;[^.^\s]+(?:\.[^.\s]+)+)\.(?&lt;class_name&gt;[^\s]+)\s+(?&lt;message_content&gt;.+)"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#解析请求时间 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;date&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; [&nbsp;"request_time",&nbsp;"ISO8601"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;locale =&gt;&nbsp;"cn" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;target =&gt;&nbsp;"request_time" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;drop {} &nbsp;&nbsp;&nbsp;&nbsp;} } output { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;stdout { codec =&gt; rubydebug } } </td> 
 </tr> 
 </tbody> 
</table>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 2][]

3.4 配置 过滤后内容输出至elasticsearch，修改from\_beat.conf 文件为以下内容：

<table style="width:502.5pt;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#C0C0C0;"> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 </td> 
 <td style="border-color:#C0C0C0;"> input { beats { port =&gt; 5044 } } filter { &nbsp;&nbsp;&nbsp;&nbsp;#过滤access 日志 &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;( [source] =~&nbsp;"localhost\_access\_log"&nbsp;) { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;grok { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;message =&gt; [&nbsp;"%{COMMONAPACHELOG}"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;date&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; [&nbsp;"request_time",&nbsp;"ISO8601"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;locale =&gt;&nbsp;"cn" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;target =&gt;&nbsp;"request_time" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;#过滤tomcat日志 &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;if&nbsp;( [source] =~&nbsp;"catalina"&nbsp;) { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#匹配内容到字段 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;grok { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; { message =&gt; [&nbsp;"(?&lt;webapp_name&gt;\[\w+\])\s+(?&lt;request_time&gt;\d{4}\-\d{2}\-\d{2}\s+\w{2}\:\w{2}\:\w{2}\,\w{3})\s+(?&lt;log_level&gt;\w+)\s+(?&lt;class_package&gt;[^.^\s]+(?:\.[^.\s]+)+)\.(?&lt;class_name&gt;[^\s]+)\s+(?&lt;message_content&gt;.+)"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#解析请求时间 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;date&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;match =&gt; [&nbsp;"request_time",&nbsp;"ISO8601"&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;locale =&gt;&nbsp;"cn" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;target =&gt;&nbsp;"request_time" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;drop {} &nbsp;&nbsp;&nbsp;&nbsp;} } output { &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;( [source] =~&nbsp;"localhost_access_log"&nbsp;) { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;elasticsearch { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;hosts =&gt; ["cpy04.dev.xjh.com:9200"] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;index =&gt;&nbsp;"access_log" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;elasticsearch { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;hosts =&gt; ["cpy04.dev.xjh.com:9200"] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;index =&gt;&nbsp;"tomcat_log" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;stdout { codec =&gt; rubydebug } } </td> 
 </tr> 
 </tbody> 
</table>

至此，logstash 配置完成。如果需要做其他过滤或者输出至除elasticsearch 以外插件，如kafka 详见：https://www.elastic.co/guide/en/logstash/current/index.html

[http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70]: /images/20221119/18dd25b5fc6d465197be600f08c6bcfc.png
[2021011810490953.png]: /images/20221119/982aa4ecda6f468b8701a546af6697e6.png
[https_www.elastic.co_downloads_logstash]: https://www.elastic.co/downloads/logstash
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210118104909707.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210118104909714.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY=,size_16,color_FFFFFF,t_70