ELK入门恶补

谁借莪１个温暖的怀抱￠ 2023-07-06 13:25 1阅读 0赞

ELK是Elasticsearch、Logstash、Kiban

市面上也被成为Elastic Stack （这三个加在一块）

日志分析架构技术栈总称

1.  Elasticsearch

Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。

像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，

简称Elasticsearch为es

1.  Logstash

Logstash是ELK的中央数据流引擎，用于从不同目标（文件/数据存储/MQ）收集的不同格式数据，经过过滤后支持输出到不同目的地（文件/MQ/redis/elasticsearch/kafka等）

1.  Kibana

Kibana可以将elasticsearch的数据通过友好的页面展示出来，提供实时分析的功能。

*  流程

通过Logstash去收集每台服务器日志文件，

然后按定义的正则模板过滤后传输到Kafka或redis，

然后由另一个Logstash从KafKa或redis读取日志存储到elasticsearch中创建索引，

最后通过Kibana展示给开发者或运维人员进行分析。

Logstash 收集各种日志，过滤传输到——> Elasticsearch （ES)——>后交给Kinana 分析展示

过滤环节是很耗时间和资源的，过滤完成后才传输到ES中

优化过的流程：

Nginx——>收集——>Logstash——>Kafka

<——消费——>logstash过滤(所有的数据都用这个logstash过滤)，传输到——>ES——>展示，分析 ——> Kibana

优化后Kafka作为缓冲存储作用，

运行在数据源的Logstash采集器收集到数据后作为生产者直接传输到Kafka

Kafka它的读写性能是非常高的

我们需要独立部署一个专门消费的Logstash，

这个Logstash负责过滤，并将过滤好的数据传输到ES，

后面依然由Kibana读取ES数据进行展示

这个架构不但性能好，而且耦合低，并且可以针对不同环节进行平行扩展

*  在新的架构上平行扩展可能演变的架构图：

Nginx——>收集——>Logstash——>Kafka

<——消费——>logstash过滤。

另外一条线也是这样，最后各自logstash过滤过的，传给ES

而：ES，和 kibana，也可以有更多的节点。

# 小白都会超详细–ELK日志管理平台搭建教程 #

https://blog.csdn.net/li123128/article/details/81052374

一、介绍

二、安装JDK

三、安装Elasticsearch

四、安装Logstash

五、安装Kibana

ELK由Elasticsearch、Logstash和Kibana三部分组件组成；

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用

kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

1.  四大组件  
    Logstash: logstash server端用来搜集日志；  
    Elasticsearch: 存储各类日志；  
    Kibana: web化接口用作查寻和可视化日志；  
    Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server；
2.  工作流程

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，

将过滤后的内容发送到Redis，

然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，

可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

Logstash-forwarder(多个)——》logstash——》elasticsearch——》kibana——》nginx

# 一、 Elasticsearch安装 #

配置阿里源：wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    yum clean all
    yum makecache
    Logstash的运行依赖于Java运行环境，Elasticsearch 要求至少 Java 7。
    [root@controller ~]# yum install java-1.8.0-openjdk -y
    [root@controller ~]# java -version
    openjdk version "1.8.0_151"
    OpenJDK Runtime Environment (build 1.8.0_151-b12)
    OpenJDK 64-Bit Server VM (build 25.151-b12, mixed mode)
    1、关闭防火墙
    systemctl stop firewalld.service #停止firewall
    systemctl disable firewalld.service #禁止firewall开机启动
    2、关闭selinux
    sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
    setenforce 0

4）添加自启动
    chkconfig --add elasticsearch
    5）启动命令
    systemctl daemon-reload
    systemctl enable elasticsearch.service

防火墙： 关闭  
Sellinux: 关闭  
JDK 1.8（备注至少是1.8版本的JDK）

https://www.elastic.co/downloads/elasticsearch

sudo chown -R luna elasticsearch-6.1.0/
    或者
    创建elsearch用户组 及elsearch用户
    groupadd elsearch
    rch -p elasticsearch
    
    更改elasticsearch文件夹及内部文件的所属用户及组为elsearch:elsearch
    
    cd /opt
    chown -R elsearch:elsearch  elasticsearch
    
    su elsearch cd elasticsearch/bin
    ./elasticsearch

## 1、下载 ##

https://www.elastic.co/downloads/elasticsearch 最新版的在下面找就行

[elk@localhost elasticsearch]$ pwd
    /usr/local/src/elasticsearch
    [elk@localhost elasticsearch]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz
    
    tar -zxvf elasticsearch-6.4.2.tar.gz

在config目录下的elasticsearch.yml文件中你可以设置es服务的端口号以及网络ip等

network.host:0.0.0.0

切换到bin目录下

./elasticsearch

别用root启动，见上面的

问题一：max virtual memory areas vm.max\_map\_count \[65530\] is too low, increase to at least \[262144\]

解决方案：  
切换到root用户  
编辑 /etc/sysctl.conf，追加以下内容：  
vm.max\_map\_count=655360  
保存后，执行：  
sysctl -p

问题二：ERROR: bootstrap checks failed  
max file descriptors \[4096\] for elasticsearch process likely too low, increase to at least \[65536\]  
max number of threads \[1024\] for user \[lishang\] likely too low, increase to at least \[2048\]  
解决：切换到root用户，编辑limits.conf 添加类似如下内容  
vi /etc/security/limits.conf

* soft nofile 65536
    * hard nofile 131072
    * soft nproc 2048
    * hard nproc 4096

问题三：max number of threads \[1024\] for user \[lish\] likely too low, increase to at least \[2048\]  
解决：切换到root用户，进入limits.d目录下修改配置文件。  
vi /etc/security/limits.d/90-nproc.conf

soft nproc 1024   修改为：soft nproc 2048

验证：

curl localhost:9200

## 二、 Logstash的安装 ##

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz

https://artifacts.elastic.co/downloads/logstash 同理，最新版的在下面找就行

尽量迅雷下载

tar -zxvf logstash-6.4.2.tar.gz

在config目录下的logstash.yml我这里也都采用的是默认的,大家可以根据自己的需求自行设

vim logstash.yml

### 设置tomcat的serer.xml ###

http://archive.apache.org/dist/tomcat/tomcat-8/v8.5.34/bin/

默认的：

pattern="%h %l %u %t “%r” %s %b"

[elk@localhost conf]$ pwd
    /usr/local/src/tomcat/apache-tomcat-8.5.34/conf
    [elk@localhost conf]$ vim server.xml

改成：

pattern="%h %l %u %t "%r" %s %b %D "%{Referer}i" "%{User-Agent}i""

### 创建root-tomcat.conf文件 ###

[elk@localhost logstash-6.4.2]$ pwd
    /usr/local/src/elasticsearch/logstash-6.4.2
    [elk@localhost logstash-6.4.2]$ vim root-tomcat.conf

input { 
        file {   
            path => "/usr/local/src/tomcat/apache-tomcat-8.5.34/logs/localhost_access_log*.txt"  
            sincedb_path => "/usr/local/src/elasticsearch/logstash-6.4.2/config/sincedb_apache_access_log.txt"
            type => "apache_access_log"
            add_field => { "tomcatip" => "192.168.1.23改成localhost"}
        }
    }
    filter{ 
        if [type] == "apache_access_log" { 
            grok{ 
                match => {  "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{URIPATHPARAM:request}(?: HTTP/%{NUMBER:httpversion})?|-)\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{NUMBER:responsetime} \"(?:%{URI:referrer}|-)\" %{QS:agent}" }
            }
            ruby { 
                code => "event.timestamp.time.localtime"
            }
            date{ 
                match => [ "timestamp", "dd/MM/yyyy:HH:mm:ss Z" ]
                target => ["writetime"]
            }
            mutate { 
                convert => {  
                    "response" => "integer" 
                    "bytes" => "integer" 
                    "responsetime" => "integer" 
                }
            }
        }
        
    }
    output { 
        if [type] == "apache_access_log" { 
            elasticsearch { 
                hosts => ["192.168.1.23改成localhost:9200"]
                index => "logstash-apacheaccesslog-%{+YYYY.MM.dd}"
            }
        }
    }

启动：

[elk@localhost logstash-6.4.2]$ ./bin/logstash -f root-tomcat.conf

# 三、 安装kibana #

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz
    tar -zxvf kibana-6.4.2-linux-x86_64.tar.gz
    cd config/
    vim kibana.yml

server.host: "0.0.0.0" 自动检查ip地址，会检查到localhost

./bin/kibana

http://localhost:5601

https://www.jianshu.com/p/3a1f5ea2ce8d