Logstash输入源的三种配置方式

╰+攻爆jí腚メ 2023-03-02 04:57 1阅读 0赞

#### 一、修改配置文件 ####

# Sample Logstash configuration for creating a simple
    # Beats -> Logstash -> Elasticsearch pipeline.
    input {
    		#文件的方式收集日志
            file{
                  path => ["xx/xxx.log"]
            }
            #tcp方式收集日志
            tcp{
    			port => "5044"
    			#自己取的类型
    			type => "log4j2"
    		}
    		#filebeat的方式
    		beats{
    			port => "5044"
    		}   
    }
    
    filter {
    
       grok{
            match => {
                   "message" => "\{\"%{WORD}\":\"\[%{LOGLEVEL:level}\s\]\s%{YEAR:year}-%{MONTHNUM:mouth}-%{MONTHDAY:day} %{HOUR:hour}:?%{MINUTE:minute}(?::?%{SECOND:second})\s%{JAVACLASS:project}\s%{JAVACLASS:class}\(%{JAVAFILE:file}(?::%{NUMBER:line})?\)\s-\[%{UUID:traceId}\]\s-\s(?<msg>.+)\}"
            }
            add_tag => ["myLog"]
        }
    
             #将massage字段转成json
        json {
               source => "message"
             }
        date {
            match => ["time", "yyyy-MM-dd HH:mm:ss.SSS"]
            remove_field => ["time"]
        }
    }
    filter{
            if "_grokparsefailure" in [tags]{
            drop{}
    	}
    }
    
    output {
      # if "traceId" in [message]{
            elasticsearch {
                hosts => ["192.168.1.185:9200"]
                index => "application-%{+YYYY.MM.dd}"
            }
       #}

三种input，选一种即可。当然你非要用两种也ok，注意改一下端口就行。tcp方式，拿log4j2举栗子，在log4j2.xml文件中的appender添加一个socket节点就行，亲测可行

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关 Logstash 默认支持的输入和输出方式

Logstash 默认支持的输入和输出方式 Logstash-7.6.1 部分输入输出方式在其他播客中会有介绍，欢迎关注下面每一种方式都连接到官方文档，点击可以看官

我就是我/ 2023年07月16日 06:57/ 0 赞/ 45 阅读

相关 Spring三种配置方式

转载：[https://blog.csdn.net/qq\_35744081/article/details/94986758][https_blog.csdn.net_qq_

太过爱你忘了你带给我的痛/ 2023年07月03日 06:24/ 0 赞/ 2 阅读

相关 Logstash输入源的三种配置方式

一、修改配置文件 Sample Logstash configuration for creating a simple Beats -> Logst

╰+攻爆jí腚メ/ 2023年03月02日 04:57/ 0 赞/ 2 阅读

相关 Hive 参数配置的三种方式

本文目录 1.-e、-f命令的使用 2.Hive 参数配置方式 Ⅰ.查看当前Hive环境所有的配置信息 Ⅱ.修改Hive中的配置参数

Dear 丶/ 2022年10月14日 11:56/ 0 赞/ 482 阅读

相关 Hive metastore三种配置方式

Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：[Hive Met

淩亂°似流年/ 2022年09月26日 02:48/ 0 赞/ 284 阅读

相关配置dns的三种方式

在网卡文件中修改 echo 'DNS1="114.114.114.114"' >> /etc/sysconfig/network-scripts/i

墨蓝/ 2022年09月04日 05:48/ 0 赞/ 124 阅读

相关三种方式配置Camel的ProducerTemplate

这里以spring的配置文件为例，代码如下 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http

╰半橙微兮°/ 2022年08月04日 12:36/ 0 赞/ 200 阅读

相关在Tomcat配置JNDI数据源的三种方式

第一种,单个应用独享数据源就一步,找到Tomcat的server.xml找到工程的Context节点,添加一个私有数据源 Xml代码 [![收藏代码][ico

男娘i/ 2022年05月22日 08:47/ 0 赞/ 325 阅读

相关 Logstash之控制台输出的两种方式|第三章-yellowcong

> Logstash 的控制台输出方式，有json的方式和rubydebug 两种格式。输出json input{ file {

傷城~/ 2022年05月21日 03:26/ 0 赞/ 345 阅读

相关 Spring Bean三种配置方式

文章目录普通的XML文件配置 applicationContext.xml U

小灰灰/ 2021年12月18日 07:07/ 0 赞/ 403 阅读