分布式日志收集之Logstash 笔记（一）

ゝ一世哀愁。 2022-01-14 06:37 220阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

![点击查看原始大小图片][05104739_JebM.jpg]  
  
（一）logstash是什么？  
  
logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。  
  
当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS, lucene，solr等并不一定是ElasticSearch。  
  
官网下载地址：https://www.elastic.co/downloads/logstash  
官网文档地址：https://www.elastic.co/guide/en/logstash/current/index.html  
  
  
（二）logstash的的安装  
  
logstash的目前的最新版本是2.0.0，建议安装在Linux平台，虽然它也支持Windows平台，但可能会有问题  
下载：  
wget https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz  
  
解压：  
tar -zxvf logstash-2.0.0.tar.gz  
  
进入根目录，执行bin/logstash -h 可查看帮助文档  
参数介绍如下：  
  
使用命令模板:  
/bin/logstash 命令参数 选项  
  
选项:  
\-f ， 指定加载一个后缀为.conf文件的logstash配置模块  
\-e , 命令行指定参数 ， 通常用来调试  
\-w, 指定logstash的工作线程数  
\-l, 指定logstash的默认日志写入到一个文件中，如果不指定，默认是标准输出  
\--quiet 静默模式，仅仅只有error级别信息输出  
\--verbose info级别的log输出  
\--debug debug 级别的log输出.  
\-V, --version 查看logstash的版本  
\-p, --pluginpath PATH 加载自定义的logstash插件  
\-t, --configtest 检查logstash配置是否有效  
\-h, --help 打印帮助  
  
  
（三）logstash的数据处理模型  
  
（1）input =》 output  
（2）input =》 filter =》 output  
  
其中input常用的输入源有：file，syslog，redis，log4j，apache log或nginx log，或者其他一些自定义的log格式，业务log，搜索log，订单log等等  
  
filter常用的选项有：  
grok：支持正则提取任何非结构化数据或结构化数据，其中logstash内置120多种正则，比如常见的时间，ip，用户名，等等也支持自定义正则解析  
mutate：修改字段名，删除，更新等操作，转换字段类型等  
drop： 删除某些时间，如debug  
clone：拷贝一份事件副本，用来添加或删除字段  
geoip : 通过ip获取地理位置信息，在做kibana区域统计图非常炫  
ruby： 支持原生的ruby代码，操作事件，实现强大的其他功能  
  
output常用的输出有：  
elasticsearch 比较常用  
file：写入文件  
redis：写入队列  
hdfs：写入HDFS，需插件支持  
zabbix： zabbix监控  
mongodb：写入mongodb库  
  
除此之外还有个编码插件codecs也比较常用  
常用来处理json数据或者多行数据源  
  
  
  
（四）logstash一些简单例子  
  
（1）使用命令行命令调试：

**\[java\]** [view plain][] [copy][view plain]

1.  \[search@h3 logstash-2.0.0\]$ bin/logstash -e "input\{stdin\{\}\} output\{stdout\{\}\}"
2.  Default settings used: Filter workers: 1
3.  Logstash startup completed 
4.  hello 
5.  2015\-11\-04T15:16:02.747Z h3 hello 
6.  test 
7.  2015\-11\-04T15:16:08.108Z h3 test

（2）命令行参数仅适合简单的配置，如果配置比较多，我们一般会写入一个以.conf结尾的配置文件里，然后使用  
\-f命令加载，将（1）中的配置，写入hello.conf  
  
然后使用bin/logstash -f hello.conf 执行加载，即可达到同样效果  
  
  
（3）常用的数据模块

**\[java\]** [view plain][] [copy][view plain]

1.  <pre name="code"**class**="java">input\{ 
2.  ..... 
3.  \} 
4.  filter\{ 
5.  ...... 
6.  \} 
7.  output\{ 
8.  ....... 
9.  \}

（4）监听文件,支持通配符，写入文件

**\[java\]** [view plain][] [copy][view plain]

1.  input\{ 
2.  
3.  file => \["/var/log/file","/var/solr/log/\*"\] 
4.  
5.  \} 
6.  
7.  output\{ 
8.  
9.  file => "/sys/collect/log"
10. 
11. 
12. \}

（5）logstash插件支持数据类型

**\[java\]** [view plain][] [copy][view plain]

1.  数组： path=> \["a","b"\] 
2.  布尔：ssl\_enable => **true**
3.  字节： 
4.  my\_bytes =>"1113"\#1113 bytes 
5.  my\_bytes =>"10MiB"\#10485760 bytes 
6.  my\_bytes =>"100kib"\#102400 bytes 
7.  my\_bytes =>"180 mb"\#180000000 bytes 
8.  编码： 
9.  codec => "json"
10. 哈希表： 
11. match => \{ 
12. 
13. "k1" => "v1"
14. "k2" => "v2"
15. "k3" => "v3"
16. 
17. \} 
18. 数值： 
19. port=> 33
20. 密码： 
21. pwd=> "password"
22. 路径： 
23. path=> "/tmp/logstash"
24. 字符串： 
25. name => "hello wordld"
26. 注释： 
27. input\{ 
28. \# 号开头，与shell脚本注释一样 
29. \}

转载于:https://my.oschina.net/u/1027043/blog/526182

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220114/3704152c938041bd8dd5ec41aedfcbae.png
[05104739_JebM.jpg]: /images/20220114/7eb525ce3e9c49b2afa68bf95953233f.png
[view plain]: http://blog.csdn.net/u010454030/article/details/49659467#