分布式日志收集之Logstash 笔记（二）

我就是我 2022-06-17 06:19 223阅读 0赞

进入正题吧，上篇介绍了Logstash的基础知识和入门demo，本篇介绍几个比较常用的命令和案例   
通过上篇介绍，我们大体知道了整个logstash处理日志的流程：   
input  => filter => output   
  
除了上面几个基础命令，还有ruby，mutate，gork，codes几个命令比较常用：   
  
在线gork正则的地址：[http://grokdebug.herokuapp.com/][http_grokdebug.herokuapp.com]   
  
Logstash基础正则地址：[https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns][https_github.com_elastic_logstash_blob_v1.4.2_patterns_grok-patterns]   
  
如果你是做运维的，那么很幸运，内置的120多个正则，对运维人员来说非常方面，比如常见的Apache的log格式，Nginx的log格式   
上面的正则库都有成型的正则式，省去了自己编写正则一大部分的工作。   
  
如果你是做开发的，那么稍微麻烦点，开发需要面对各种业务log+系统log，这时候，掌握gork用法，使用正则提取任意内容，变得比较重要了，不过相信大部分人都会一些基础的正则，所以还是比较轻松的。   
  
下面看几个案例：   
  
案例（一）使用gork提取Solr搜索的log里面的一些字段内容：   
  
例子数据（注意这是一行数据）：

Java代码   ![收藏代码][icon_star.png]

1.  INFO  - 2015\-11\-03 06:10:53.106; \[   company\] org.apache.solr.core.SolrCore; \[company\] webapp=/solr path=/select params=\{mm=100%25&sort=score+desc,regCapital+desc,foundDate+asc,cpyNamePy+asc&start=0&q=+cpyName:兰州顶津食品有限公司++OR+sname:"兰州顶津食品有限公司"^10\+OR+oldName:兰州顶津食品有限公司  
2.  \+&wt=javabin&fq=&version=2&rows=10&defType=edismax\} hits=0 status=0 QTime=2

使用gork正则语法+内置正则，能够提取出，log级别，UTC时间，查询关键词等等内容

Java代码   ![收藏代码][icon_star.png]

1.  log级别：  
2.  %\{LOGLEVEL:loglevel\}   
3.  查询时间：  
4.  %\{TIMESTAMP\_ISO8601:time\};  
5.  查询关键词  :  
6.  cpyName:(?<kw>.\*)\\+\\+  
7.  命中数量 ：  
8.  hits=(?<hits>\\d+)  
9.  查询时间  
10. QTime=(?<qtime>\\d+)  
11. 查询偏移开始：  
12. start=(?<start>\\d+)  
13. 返回数量：  
14. rows=(?<rows>\\d+)

案例（二）使用filter-date插件提取日志文件里面的时间，覆盖logstash自己默认生成log时的时间   
官网介绍：[https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html][https_www.elastic.co_guide_en_logstash_current_plugins-filters-date.html]   
这个案例也比较常见，因为我们需要的时间，肯定是log日志里面记录的时间，而不是logstash接入时的那个时间，保证时间正确，才能在   
Kibana里面正确的展示，关于UTC时间的+8的问题，这里就不说了，搜索时自己可以控制搜到正确的内容即可   
  
内容如下截图，写了一个固定的时间：   
   
  
![583f3632-845a-3829-a534-6159403c5c32.png][]    
  
  
结果如下图，已经被转换成UTC时间    
  
![4ed6c4b5-95fa-3be2-bb00-3ffe38846875.png][]    
  
  
  
  
  
案例（三）使用ruby内嵌代码，将一个yyyy-MM-dd HH:mm:ss格式的日期，转换成long时间戳   
  
接着案例二的代码，再其filter里面再加入如下一段代码：   
   
  
![点击查看原始大小图片][e07b543d-1ad4-3713-9994-b7aeb15ebfc1.png]   
  
运行后，再看结果：    
  
![d705cd32-738e-39f1-97f9-ccb8e158c686.png][]    
  
写个程序验证是否正确，发现没有问题：    
  
![273e161f-47d7-3dac-9b28-bad30f72eec3.png][]    
  
  
  
  
如果会点JRuby或者Ruby语法，来使用Logstash则可以做更多的自定义的处理任务   
  
案例（四）使用codec+multiline来处理跨行的日志   
  
什么场景下，需要使用multiline插件呢？ 最常见的就是我们的log4j里面的记录的java程序发生异常时，经常   
会抛出一大堆异常，如下：   
   
  
![点击查看原始大小图片][bfc24730-f4ce-3060-b0f2-0faf274a75a8.png]   
  
  
  
注意这么多行日志，从业务角度来讲，它是一行的，如果默认我们不做任何处理，logstash就会把它解析成多个事件，这样以来   
基本上偏离了我们预期的设想，那么该如何处理呢？   
  
方法（1）：   
在input阶段的编码过程中，加入正则判断：   
   
  
![点击查看原始大小图片][173611f6-fa36-3d8a-bf55-057caae4e9aa.png]   
  
  
  
方法（2）：   
还是在input阶段，但是使用的触发模式，直到遇到下一行日志前，把这一行与下一行之间的所有内容都当成是一行，这种做法比较简单，优点时在性能与准确度上可能会比上一个方法好，但是缺点是，必须有下一行日志产生，当前的这一行日志，才能被收集完毕 !   
   
  
![e1c27062-0077-3690-b1fa-a7f0903bf6c2.png][]    
  
  
  
  
参考文章：[http://blog.sematext.com/2015/05/26/handling-stack-traces-with-logstash/][http_blog.sematext.com_2015_05_26_handling-stack-traces-with-logstash]   
  
  
案例（五）使用mutate+gsub来去除一些字段里面的换行符

Java代码   ![收藏代码][icon_star.png]

1.  mutate \{  
2.     gsub => \[ "message", "\\r", "" \]  
3.   \}  
4.

[http_grokdebug.herokuapp.com]: http://grokdebug.herokuapp.com/
[https_github.com_elastic_logstash_blob_v1.4.2_patterns_grok-patterns]: https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
[icon_star.png]: /images/20220617/d89b93e021af42b8bb9df08c0b8a1c30.png
[https_www.elastic.co_guide_en_logstash_current_plugins-filters-date.html]: https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html
[583f3632-845a-3829-a534-6159403c5c32.png]: /images/20220617/a415ddcb51064bd182157749a6f9578a.png
[4ed6c4b5-95fa-3be2-bb00-3ffe38846875.png]: /images/20220617/9265b6287d8542cbab2764453a695dce.png
[e07b543d-1ad4-3713-9994-b7aeb15ebfc1.png]: /images/20220617/079ea9215a8e4e4d8fec79201247ff03.png
[d705cd32-738e-39f1-97f9-ccb8e158c686.png]: /images/20220617/59efee1055bd4670a83dc2cf4a77894c.png
[273e161f-47d7-3dac-9b28-bad30f72eec3.png]: /images/20220617/e90fa2d0d1b84273b7a2dee469b9276a.png
[bfc24730-f4ce-3060-b0f2-0faf274a75a8.png]: /images/20220617/4552c9ad592b45e5b0fabd1625e5f00e.png
[173611f6-fa36-3d8a-bf55-057caae4e9aa.png]: /images/20220617/efc49e18d6c14827ae7b1b803254df79.png
[e1c27062-0077-3690-b1fa-a7f0903bf6c2.png]: /images/20220617/4b76691d506640c4bd4eef6b0a0bae9a.png
[http_blog.sematext.com_2015_05_26_handling-stack-traces-with-logstash]: http://blog.sematext.com/2015/05/26/handling-stack-traces-with-logstash/