ELK搭建记录（第二弹）

青旅半醒 2022-06-13 02:16 157阅读 0赞

上一篇日志是跟着别人写的文章一步一步走的，并没有自己深刻的理解

今天又研究了一天又有一些新的收获，赶紧记下来。只列出做了修改的部分。

1.不再需要filebeat了，logstash直接就可以读取日志文件

2.logstash配置文件修改

![Center][]

这里推荐一个很棒的网站，学logstash一定要看：[LogStash最佳实践][LogStash]

解释一下吧：

logstash配置文件不可或缺的三个部分：input，file，output。

input 指定日志数据来源

file 指明从文件读取日志（其他的方式去上面推荐的网站瞅下）

path是个数组，可以配置多个文件路径，每个路径可以使用通配符，即每个路径可以指向一组文件。

type给读取到的日志设置一个自定义类型

start\_position指定从什么位置开始读取，begin是从头开始读（同时要删掉sincedb文件噢，否则还是从尾巴读）

sincedb\_path指定sincedb文件存放在什么位置（注：sincedb是logstash存储日志的文件）

filter 用来过滤日志数据，只有通过过滤，才会传给output

date 没有完全理解是干啥的，大概是以当前时间重写了日志时间，如果以File模式以Begining模式读取日志必须要加这条

multiline 有时我们打出的日志数据中间有换行，它在日志文件中有多行，我这里告诉logstash，如果这条日志是以\[开头，它就属于前一条日志

if 语句 logstash支持简单的表达式，我这里告诉logstash，如果是空数据，直接丢弃

grok 由于从文件读取日志，logstash不知道日志语义，就无法做信息解析，比如这条日志的级别是什么，这里通过正则匹配出日志级别给level字段

output

输出日志到elasticsearch，指定索引格式(index)和日志类型（document\_type，这里取的是file中定义的type）

说一下ELK分别如何启动

三个工具都有bin目录，bin目录下都有可执行文件，elasticsearch和kibana的配置文件都在config目录下，是yml格式，logstash的配置文件是我自己创建的config目录，格式为conf。启动时都定位到它们所在的目录，建议三个程序放在一个screen中，一是好管理，二是启动之后ctrl+a+d就不用管了。按以下顺序启动，elasticsearch要在logstash前面不然读取到的日志没地方输送了

./bin/elasticsearch
    ./bin/logstash agent -f ./config/logstash.conf
    ./bin/kibana

elaticsearch和kibana的管理界面怎么使用不说了，不是难点所在

[Center]: /images/20220613/c34841c584f049c5bdad824ec76d147e.png
[LogStash]: http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html

发表评论取消回复

表情：

评论列表（有 0 条评论，157人围观）

还没有评论，来说两句吧...

相关阅读

相关 elk搭建

Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案。在志邦项目部署了三台服务器到生产环境，生产环境用了nginx做负载均衡，通

落日映苍穹つ/ 2023年08月17日 15:35/ 0 赞/ 151 阅读

相关 docker ELK搭建

一. ElasticSearch 1.1 镜像拉取搜索下 $ docker search elasticsearch 拉取镜像

秒速五厘米/ 2022年11月27日 12:15/ 0 赞/ 247 阅读

相关 docker 搭建 ELK

简介 ELK开源日志框架同数据 [https://www.elastic.co][https_www.elastic.co] Elasticsearch 是一个基

Bertha 。/ 2022年08月31日 15:22/ 0 赞/ 272 阅读

相关 ELK搭建记录（第二弹）

上一篇日志是跟着别人写的文章一步一步走的，并没有自己深刻的理解今天又研究了一天又有一些新的收获，赶紧记下来。只列出做了修改的部分。 1.不再需要filebeat了，log

青旅半醒/ 2022年06月13日 02:16/ 0 赞/ 158 阅读

相关 ELK环境搭建记录

提示：建议将此篇和[第二弹][Link 1]都浏览一下再开始搭建环境日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配

青旅半醒/ 2022年06月13日 00:55/ 0 赞/ 250 阅读

相关 ELK 系统搭建

ELK 简介 ELK 是一般被称作日志分析系统，是三款开源软件的简称。通常在业务服务上线后我们会部署一套 ELK 系统，方便我们通过图形化界面直接查找日志，

男娘i/ 2022年05月27日 11:42/ 0 赞/ 264 阅读

相关 ELK搭建手册

参考: [https://my.oschina.net/itblog/blog/547250?p=2&temp=1503478503046\blog-comments-li

叁歲伎倆/ 2022年05月14日 02:52/ 0 赞/ 263 阅读

相关 Ubuntu 搭建ELK

[Ubuntu 搭建ELK][Ubuntu _ELK] 一、简介官网地址:https://www.elastic.co/cn/ 官网权威指南:https:

柔光的暖阳◎/ 2022年02月02日 08:23/ 0 赞/ 550 阅读

相关 ELK搭建，使用。

对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），

Myth丶恋晨/ 2022年01月13日 23:53/ 0 赞/ 360 阅读

相关 ELK 搭建

一.环境准备两台主机: 主机1 elk-master 192.168.93.14 主机2 elk-node 192.168.93.19 主机

待我称王封你为后i/ 2021年09月30日 14:28/ 0 赞/ 417 阅读