关于Logstash中grok插件的正则表达式例子

﹏ヽ暗。殇╰゛Y 2022-01-22 01:41 284阅读 0赞

logstash filter grok match中的正则匹配，不是随便自己写的，需要按照一定的格式匹配。

具体字段可以参考  
[https://www.cnblogs.com/stozen/p/5638369.html][https_www.cnblogs.com_stozen_p_5638369.html]

有些复杂的使用grok处理问题可能会比较复杂，尤其对于自定义，日非标准化的日志格式。解析比较复杂。

可以使用logstash提供的其他方案，比如dissect方法。通过特殊字符进行日志的截取，简单有效。

filter {
    	#grok {
    	#	match => {
    	#		#"message" => "%{HTTPDATE:logdate} \[%{DATA:thread}\] \[%{LOGLEVEL:level}\] %{DATA:class} - %{GREEDYDATA:msg}"
    	#		"message" => "%{TIMESTAMP_ISO8601:time} \[%{WORD:thread}\] %\[{LOGLEVEL:loglevel}\] %{JAVACLASS:class } - %{GREEDYDATA:msg}"
    	#	}
    	#}
    	#date {
        #    match => ["logdate", "yyyy-MM-dd HH:mm:ss SSS"]
        #}
    	dissect {
    		mapping => {
    			"message" => "%{log_time} - %{log_thread} - %{log_level} - %{log_class} - %{log_message}"
    		}
        }
    }

获取到的数据如下：

{ 
      "_index": "logstash-2019.06.05-000001",
      "_type": "_doc",
      "_id": "syxjJmsBC9TqmNGc3JrG",
      "_version": 1,
      "_score": null,
      "_source": { 
        "log_class": "com.uitis.sys.sms.LoadSmsServiceServlet",
        "log_thread": "[main]",
        "@timestamp": "2019-06-05T06:46:46.847Z",
        "path": "D:/apache-tomcat-6.0.53/logs/txbd-2019-06-05-14.log",
        "host": "USERCHI-5FQSAAM",
        "log_level": "[INFO ]",
        "@version": "1",
        "message": "2019-06-05 14:45:39.417 - [main] - [INFO ] - com.uitis.sys.sms.LoadSmsServiceServlet - *******启动短信线程*******\r",
        "log_time": "2019-06-05 14:45:39.417",
        "log_message": "*******启动短信线程*******\r"
      },
      "fields": { 
        "@timestamp": [
          "2019-06-05T06:46:46.847Z"
        ]
      },
      "highlight": { 
        "log_message": [
          "*******启动短信@kibana-highlighted-field@线@/kibana-highlighted-field@@kibana-highlighted-field@程@/kibana-highlighted-field@*******"
        ],
        "message": [
          "2019-06-05 14:45:39.417 - [main] - [INFO ] - com.uitis.sys.sms.LoadSmsServiceServlet - *******启动短信@kibana-highlighted-field@线@/kibana-highlighted-field@@kibana-highlighted-field@程@/kibana-highlighted-field@*******"
        ]
      },
      "sort": [
        1559717206847
      ]
    }

[https_www.cnblogs.com_stozen_p_5638369.html]: https://www.cnblogs.com/stozen/p/5638369.html