ELK日志采集系统构建实战（十七）

水深无声 2022-12-13 14:17 235阅读 0赞

ELK日志采集系统构建实战讲解，让小伙伴更深入的理解ELK。

1 、首先确保服务器已经运行了  ES  集群

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 1][]

2 、确保服务器上已经安装部署了  logstash

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 2][]

3 、在  Logstash  安装路径下的  config  目录中，新建一个  conf  文件，取名为 es\_log.conf，并且填入以下内容：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 3][]

input \{

file \{

path => "/home/elk/elk/teaching/elasticsearch-7.7.0/logs/my-elk.log"

start\_position => "beginning"

codec => multiline \{

pattern => "^\\\["

negate => true what => "previous"

output \{

elasticsearch \{

hosts => \["http://172.18.194.140:9200"\]

index => "es-log-%\{+YYYY.MM.dd\}"

stdout\{\}

4 、进入  Logstash  的  bin  目录执行 ./logstash -f ../config/es\_log.conf

5 、控制台会输出：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 4][]

6 、我们到浏览器查询：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 5][]

发现  ES  中确实创建了一个索引  es-log-2020.07.08

7 、在  ES  中查询这个索引的内容

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 6][]

8 、仔细检查存入的日志内容，发现日志信息是作为整体存入  message  字 段的：

![20201012141037680.png][]

有没有办法存入的更细粒些呢？

9 、仔细分析  es  的日志，呈现了一定的结构化特征：

![20201012141052528.png][]

总是： “ \[ 时间戳 \]\[ 日志级别 \]\[ 输出信息的类名 \]\[ 节点名 \] 具体的日志信息 ”这种格式，所以我们完全可以考虑使用过滤器插件对文本进行分析后再存 入 es ，怎么分析？可以用  grok  过滤器。

10 、 在  Logstash  安装路径下的  config  目录中，新建一个  conf  文件，取名 为 log\_grok.conf ，并且填入以下内容：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 7][]

input \{

file \{

path => "/home/elk/elk/teaching/elasticsearch-7.7.0/logs/my-elk.log"

start\_position => "beginning"

codec => multiline \{

pattern => "^\\\["

negate => true

what => "previous"

filter\{

grok \{

match => \{  message =>

"\\\[%\{TIMESTAMP\_ISO8601:time\}\\\]\\\[%\{LOGLEVEL:level\}%\{SPACE\}\\\]\\\[%\{NOT

SPACE:loggerclass\}%\{SPACE\}\\\]%\{SPACE\}\\\[%\{DATA:nodename\}\\\]%\{SPACE\}

%\{GREEDYDATA:msg\}"

output \{

stdout\{\}

11 、如果担心自己写的  conf  有语法问题，可以执行 ./logstash -f xxxxxxx.conf -t 检查  conf ，当然只能检查语法，不能检查诸如

正则表达式是否正确这类问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 8][]

12 、执行 ./logstash -f ../config/log\_grok.conf ，如果发现程序没有输出，有 可能是 elk  的日志文件已经被处理过， logstash  不会重复处理，这时可以到 logstash 的 /data/plugins/inputs/file  目录下，删除 .sincedb  文件（这个文件是个 隐藏文件），再执行。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 10][]

可以看见，每条日志已经成功的被解析了。

13 、现在考虑如何存入  es ，按照原来的

![20201012141225799.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 11][]

定义好索引的 mapping（映射），注意要和我们对日志的分解一一对应。

14 、创建一个新的  conf  文件，取名  es\_log\_grok.conf ，内容如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 12][]

input \{

file \{

path => "/home/elk/elk/teaching/elasticsearch-7.7.0/logs/my-elk.log"

start\_position => "beginning"

codec => multiline \{

pattern => "^\\\["

negate => true

what => "previous"

filter\{

grok \{

match => \{

message =>

"\\\[%\{TIMESTAMP\_ISO8601:time\}\\\]\\\[%\{LOGLEVEL:level\}%\{SPACE\}\\\]\\\[%\{NOT

SPACE:loggerclass\}%\{SPACE\}\\\]%\{SPACE\}\\\[%\{DATA:nodename\}\\\]%\{SPACE\}

%\{GREEDYDATA:msg\}"

output \{

elasticsearch \{

hosts => \["http://172.18.194.140:9200"\]

index => "es-log-text-%\{+YYYY.MM.dd\}"

template\_name => "es\_template\*"

template => "/home/elk/elk/teaching/logstash-7.7.0/config"

stdout\{\}

主要是在  elasticsearch  插件中增加了对刚才新增的  json  文件的读取。

15 、执行 ./logstash -f ../config/es\_log\_grok.conf ，会看到控制台的输出，同 时在浏览器中，也会看到解析后的日志：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 13][]

ELK实战demo到此结束，下一篇我们分析es的性能优化策略，敬请期待。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70]: /images/20221123/e661ed3c94314b5fbc501e31e084d12c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 1]: /images/20221123/4a8d2a5c383a48858c61c571f6eaff37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 2]: /images/20221123/1fc12b29f4fa4f94b9222c8b869ddcc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 3]: /images/20221123/6918a44c33404ae69d976d05032e13df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 4]: /images/20221123/059babd7b1254110874b6028ad521b01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 5]: /images/20221123/3f74debcaf6f4f37a7daf398326cc1f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 6]: /images/20221123/d954d312e9054883bfe493812d803057.png
[20201012141037680.png]: /images/20221123/1a87f50088914145ba66c708cdcae6ad.png
[20201012141052528.png]: /images/20221123/e7f9601749ba4ab3be57793eea93cc5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 7]: /images/20221123/caf2ab2b2a5e42169c6a9d87141dc245.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 8]: /images/20221123/91092c7669ce4b3c9df3e449c4bb9f00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 9]: /images/20221123/c248c907c5ec449dbafbd1c3c1a20387.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 10]: /images/20221123/2c041e3c8efa4d5d99ac71b810861187.png
[20201012141225799.png]: /images/20221123/228f58c37b514e51b6a7eca98fad0948.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 11]: /images/20221123/736472df3d0541b388e707755ea4bafa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 12]: /images/20221123/f1dfd371214a4102aa01a3fdc3fbf9fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 13]: /images/20221123/ba05523538dc4e41b709bf9f0d9127ba.png