logStash到ElasticSearch 我的例子(六)

刺骨的言语ヽ痛彻心扉 2022-06-01 04:25 46阅读 0赞

input{
    
        file{
        path => "/var/logs/e_mall.log"
        type => "e_mall-bank"
        start_position => "beginning"
        codec => multiline{
               pattern => "\s*\["
               negate => true
               what => "previous"
            }
            }
    
    }
    
    //拦截器部分
    filter{
    
        mutate{
              gsub => ["message","\t","","message","\n"," "]
            }
    
        grok{
             match => {
       "message" => "\[%{LOGLEVEL:loglevel}\s*\]\s*\[%{GREEDYDATA:word}\]\s*%{TIMESTAMP_ISO8601:logdate}\s*%{GREEDYDATA:message}"    }
         overwrite => ["message"]
            }
    
        date{
         match => ["logdate","YYYY-MM-dd HH:mm:ss,SSS"]
         target => "@timestamp"
    
    
        }
    
    
        mutate{
    
         split => {
       "logdate" => " "}
    
        }
        mutate{
        add_field =>{
             "date" => "%{[logdate][0]}"
            }
        remove_field =>[logdate]
        }
    
    
    }
    
    
    
    output{
    
    
        elasticsearch {
           hosts => 
    ["192.168.90.*","192.168.90.*","192.168.90.*"]//自己修改
           index => "%{type}_%{date}"
         }
    
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，46人围观）

还没有评论，来说两句吧...

相关阅读

相关使用logstash同步mysql数据到elasticsearch

在config下新建mysql.conf文件 input{ jdbc{ jdbc驱动包位置 jdbc

悠悠/ 2023年07月24日 05:40/ 0 赞/ 47 阅读

相关 elasticsearch logstash同步mysql数据到elasticsearch

-------------------- elasticsearch logstash同步mysql数据到elasticsearch \\\\\\\\\\\\\

绝地灬酷狼/ 2023年06月29日 05:54/ 0 赞/ 23 阅读

相关 Logstash 同步log日志文件到Elasticsearch

1.Elasticsearch安装和Logstash安装环境参照[https://blog.csdn.net/qq\_33371766/article/details/103

雨点打透心脏的1/2处/ 2023年06月27日 06:29/ 0 赞/ 39 阅读

相关 Elasticsearch - Logstash实现mysql同步数据到elasticsearch

有的时候，我们在做查询时，由于查询条件的多样、变化多端（比如根据时间查、根据名称模糊查、根据id查等等），或者查询的数据来自很多不同的库表或者系统，这时就很难以一个较快的速度

你的名字/ 2023年06月10日 03:21/ 0 赞/ 22 阅读

相关 Logstash + ElasticSearch笔记

LogStash 1.具有实时渠道能力的数据引擎，包含输入、过滤、输出模块，一般在过滤模块中做日志格式的解析工作（日志收集，过滤。存储供搜索） LogStash的配置文

青旅半醒/ 2023年05月30日 08:48/ 0 赞/ 38 阅读

相关 ElasticSearch实战系列六: Logstash快速入门

前言本文主要介绍的是ELK日志系统中的Logstash快速入门。 ELK介绍 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logsta

野性酷女/ 2023年03月03日 08:49/ 0 赞/ 35 阅读

相关 logStash到ElasticSearch 我的例子(六)

input{ file{ path => "/var/logs/e_mall.log" type => "e_

刺骨的言语ヽ痛彻心扉/ 2022年06月01日 04:25/ 0 赞/ 47 阅读

相关 logstash mysql 同步到 elasticsearch

es，kinana环境参考：[https://blog.csdn.net/qq\_38270106/article/details/88394869][https_blog.c

Bertha 。/ 2022年03月02日 15:59/ 0 赞/ 374 阅读

相关 Logstash同步ElasticSearch

1、什么是Logstash Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服

阳光穿透心脏的1/2处/ 2021年11月29日 09:08/ 0 赞/ 393 阅读

相关 Logstash 同步mysql数据到ElasticSearch

1.解压Logstash 2.在logstash根目录新建custom文件夹，用于自定义的一些配置文件，如下图 ![watermark_type_ZmFuZ3poZW5na

痛定思痛。/ 2021年11月05日 23:22/ 0 赞/ 446 阅读