ELK 系列一、Centos 7 安装ELK6.2.3

旧城等待， 2022-05-11 06:54 177阅读 0赞

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；

Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；

Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；

Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat  就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

**本次安装的版本为：elasticsearch-6.2.3，logstash-6.2.3，kibana-6.2.3，filebeat-6.2.3**

业务请求到达nginx-server机器上的Nginx；

Nginx响应请求，并在access.log文件中增加访问记录；

FileBeat搜集新增的日志，通过LogStash的5044端口上传日志；

LogStash将日志信息通过本机的9200端口传入到ElasticSerach；

搜索日志的用户通过浏览器访问Kibana，服务器端口是5601；

Kibana通过9200端口访问ElasticSerach；

接下来安装ELK吧；

### 安装JDK ###

首先请在elk-server机器上JDK8；

在ELK官方文档中([https://www.elastic.co/guide/en/elasticsearch/hadoop/6.2/requirements.html][https_www.elastic.co_guide_en_elasticsearch_hadoop_6.2_requirements.html])，推荐的JDK版本为8，如下图所示：   
![这里写图片描述][70]

在CentOS7安装JDK8的步骤请参考[《CentOS7安装JDK8》][CentOS7_JDK8]；

### 安装jdk ###

下载jdk-8u181-linux-x64.tar.gz，官网地址：[http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html][http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]

\[root@host-172-22-14-75 ~\]\# cd /data/soft/  
\[root@host-172-22-14-75 soft\]\# ls  
jdk-8u181-linux-x64.tar.gz

\[root@host-172-22-14-75 soft\]\# tar -zxvf jdk-8u181-linux-x64.tar.gz

\[root@host-172-22-14-75 soft\]\# mv jdk1.8.0\_181/ /usr/local/

\[root@host-172-22-14-77 ~\]\# vim /etc/profile

export JAVA\_HOME=/usr/local/jdk1.8.0\_181  
export JRE\_HOME=$\{JAVA\_HOME\}/jre  
export CLASSPATH=.:$\{JAVA\_HOME\}/lib/dt.JAVA\_HOME/lib/tools.jar:$\{JRE\_HOME\}/lib  
export PATH=$\{JAVA\_HOME\}/bin:$\{PATH\}

\[root@host-172-22-14-75 soft\]\# source /etc/profile

\[root@host-172-22-14-75 soft\]\# java -version  
java version "1.8.0\_181"  
Java(TM) SE Runtime Environment (build 1.8.0\_181-b13)  
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

### **系统设置** ###

1.  设置hostname，打开文件/etc/hostname，将内容改为elk-server  （不是必须的，可跳过）
2.  关闭防火墙（如果因为其他原因不能关闭防火墙，也请不要禁止80端口）：systemctl stop firewalld.service
3.  禁止防火墙自动启动：systemctl disable firewalld.service
4.  打开文件/etc/security/limits.conf，添加下面四行内容：

\* soft nofile 65536  
\* hard nofile 131072  
\* soft nproc 4096  
\* hard nproc 4096

soft nproc: 可打开的[文件描述符][Link 1]的最大数(软限制)

hard nproc： 可打开的[文件描述符][Link 1]的最大数(硬限制)

soft nofile：单个用户可用的最大进程数量(软限制)

hard nofile：单个用户可用的最大进程数量(硬限制)

5. 打开文件/etc/sysctl.conf，添加下面一行内容：

vm.max\_map\_count=655360

max\_map\_count定义了一个进程拥有的最多内存区域，默认为65536

6. 加载sysctl配置，执行命令：sysctl -p   
7. 重启电脑；

### elk-server：安装文件准备 ###

请在ELK官网[https://www.elastic.co/downloads][https_www.elastic.co_downloads]下载以下文件：   
1. elasticsearch-6.2.3.tar.gz；   
2. logstash-6.2.3.tar.gz；   
3. kibana-6.2.3-linux-x86\_64.tar.gz；

上述三个文件，推荐在CentOS7的命令行输入以下四个命令下载：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.tar.gz  
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gz  
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.3-linux-x86\_64.tar.gz

解压：

\[root@elk-server ELK\]\# tar -zxvf elasticsearch-6.2.3.tar.gz

\[root@elk-server ELK\]\# tar -zxvf logstash-6.2.3.tar.gz

\[root@elk-server ELK\]\# tar -zxvf kibana-6.2.3-linux-x86\_64.tar.gz

![70 1][]

### **创建用户** ###

ElasticSerach要求以非root身份启动，所以我们要创建一个用户：   
1. 创建用户组：groupadd elasticsearch；   
2. 创建用户加入用户组：useradd elasticsearch -g elasticsearch；   
3. 设置ElasticSerach文件夹为用户elasticsearch所有：

\[root@elk-server soft\]\# chown -R elasticsearch.elasticsearch /data/soft/ELK/elasticsearch-6.2.3

查看用户权限

![70 2][]

### 启动ElasticSerach ###

切换用户:

\[root@elk-server ELK\]\# su elasticsearch

启动：

\[elasticsearch@elk-server elasticsearch-6.2.3\]$ /data/soft/ELK/elasticsearch-6.2.3/bin/elasticsearch -d

查看日志：大概10秒启动完成,

\[root@elk-server ~\]\# tail -f /data/soft/ELK/elasticsearch-6.2.3/logs/elasticsearch.log

[2018-09-21T13:50:06,074][INFO ][o.e.p.PluginsService     ] [i_BHGCC] no plugins loaded
    [2018-09-21T13:50:09,565][INFO ][o.e.d.DiscoveryModule    ] [i_BHGCC] using discovery type [zen]
    [2018-09-21T13:50:10,260][INFO ][o.e.n.Node               ] initialized
    [2018-09-21T13:50:10,261][INFO ][o.e.n.Node               ] [i_BHGCC] starting ...
    [2018-09-21T13:50:11,370][INFO ][o.e.t.TransportService   ] [i_BHGCC] publish_address {127.0.0.1:9300}, bound_addresses {[::1]:9300}, {127.0.0.1:9300}
    [2018-09-21T13:50:14,469][INFO ][o.e.c.s.MasterService    ] [i_BHGCC] zen-disco-elected-as-master ([0] nodes joined), reason: new_master {i_BHGCC}{i_BHGCCLSjK6a_z2Fryljg}{3sJux4uuRaWFAle6mvRIWg}{127.0.0.1}{127.0.0.1:9300}
    [2018-09-21T13:50:14,476][INFO ][o.e.c.s.ClusterApplierService] [i_BHGCC] new_master {i_BHGCC}{i_BHGCCLSjK6a_z2Fryljg}{3sJux4uuRaWFAle6mvRIWg}{127.0.0.1}{127.0.0.1:9300}, reason: apply cluster state (from master [master {i_BHGCC}{i_BHGCCLSjK6a_z2Fryljg}{3sJux4uuRaWFAle6mvRIWg}{127.0.0.1}{127.0.0.1:9300} committed version [1] source [zen-disco-elected-as-master ([0] nodes joined)]])
    [2018-09-21T13:50:14,511][INFO ][o.e.h.n.Netty4HttpServerTransport] [i_BHGCC] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}
    [2018-09-21T13:50:14,511][INFO ][o.e.n.Node               ] [i_BHGCC] started
    [2018-09-21T13:50:14,519][INFO ][o.e.g.GatewayService     ] [i_BHGCC] recovered [0] indices into cluster_state

\[elasticsearch@elk-server elasticsearch-6.2.3\]$ netstat -tunlp

![70 3][]

执行curl命令检查服务是否正常响应：curl 127.0.0.1:9200，收到响应如下：

\[elasticsearch@elk-server elasticsearch-6.2.3\]$ curl 127.0.0.1:9200

\{  
  "name" : "i\_BHGCC",  
  "cluster\_name" : "elasticsearch",  
  "cluster\_uuid" : "TW1WQPPxTnSd3GtGOQ8EiA",  
  "version" : \{  
    "number" : "6.2.3",  
    "build\_hash" : "c59ff00",  
    "build\_date" : "2018-03-13T10:06:29.741383Z",  
    "build\_snapshot" : false,  
    "lucene\_version" : "7.2.1",  
    "minimum\_wire\_compatibility\_version" : "5.6.0",  
    "minimum\_index\_compatibility\_version" : "5.0.0"  
  \},  
  "tagline" : "You Know, for Search"  
\}

至此，ElasticSerach服务启动成功，接下来是Logstash

### **配置和启动Logstash** ###

1.在目录logstash-6.2.3下创建文件default.conf，内容如下：

cd  /data/soft/ELK/logstash-6.2.3

\[root@ host-172-22-14-77  logstash-6.2.3\]\# vim default.conf

# 监听5044端口作为输入
    input {
        beats {
            port => "5044"
        }
    }
    # 数据过滤
    filter {
        grok {
            match => { "message" => "%{COMBINEDAPACHELOG}" }
        }
        geoip {
            source => "clientip"
        }
    }
    # 输出配置为本机的9200端口，这是ElasticSerach服务的监听端口
    output {
        elasticsearch {
            hosts => ["127.0.0.1:9200"]
        }
    }

监听5044端口的数据打印至9200端口

2. 后台启动Logstash服务：

\[root@ host-172-22-14-77  logstash-6.2.3\]\# nohup /data/soft/ELK/logstash-6.2.3/bin/logstash -f /data/soft/ELK/logstash-6.2.3/default.conf &

3. 查看启动日志：tail -f logs/logstash-plain.log，启动成功的信息如下

\[root@ host-172-22-14-77  logstash-6.2.3\]\# tail -f logs/logstash-plain.log

![70 4][]

\[root@ host-172-22-14-77  logstash-6.2.3\]\# netstat -tunlp

![70 5][]

**配置和启动**Kibana

1.编辑Kibana的配置文件

\[root@ host-172-22-14-77  config\]\# vim /data/soft/ELK/kibana-6.2.3-linux-x86\_64/config/kibana.yml

修改字段：

server.host: "0.0.0.0"

pid.file: /var/run/kibana.pid

2.启动服务

\[root@ host-172-22-14-77  kibana-6.2.3-linux-x86\_64\]\# nohup /data/soft/ELK/kibana-6.2.3-linux-x86\_64/bin/kibana &

3.查看端口和日志确认是否正常启动

\[root@ host-172-22-14-77  kibana-6.2.3-linux-x86\_64\]\# netstat -tunlp|grep 5601  
tcp        0      0 0.0.0.0:5601            0.0.0.0:\*               LISTEN      6227/node

\[root@ host-172-22-14-77  kibana-6.2.3-linux-x86\_64\]\# cat nohup.out

![70 6][]

在浏览器访问[http://][http]172.22.14.77[:5601][http]，看到如下页面：

因为我这本的外网是其它服务器，所以做了映射

222.217.61.44:50005 对应到172.22.14.77:5601

![è¿éåå¾çæè¿°][70 7]

至此，ELK服务启动成功，接下来我们将业务日志上报上来，需要操作另一台电脑：nginx-server；

### 安装Nginx ###

`yum install -y nginx`

`systemctl start nginx.service systemctl enable nginx.service`

在使用nginx转发的时候，要进行一次用户身份的确认

1）**通过****htpasswd****命令生成用户名及对应密码数据库文件。**

**\[root@host-172-22-14-89 ~\]\# yum install httpd -y **

**\[root@host-172-22-14-89 ~\]\# htpasswd -c /etc/nginx/passwd.db admin  
New password:   blm123  
Re-type new password:  blm123  
Adding password for user admin**

\#可以看到通过htpasswd生成的密码为加密格式

\[root@host-172-22-14-89 ~\]\# cat /etc/nginx/passwd.db   
admin:$apr1$Ijv3PMQF$1BTSrxkBxweTyi5OxSYxJ.

2)**编辑虚拟主机配置文件。**

**\[root@host-172-22-14-89 ~\]\# vim /etc/nginx/nginx.conf**

**server \{  
        listen 50006;**

**        \#server\_name boss.test.otosaas.com;**

**        location ^~ / \{  
                proxy\_pass http://172.22.14.77:5601/;  
                auth\_basic "s1";  
                auth\_basic\_user\_file /etc/nginx/passwd.db;  
                proxy\_redirect   off;  
                                                                                                                                                 **

**        location ^~ / \{  
                proxy\_pass http://172.22.14.77:5601/;  
                auth\_basic "s1";  
                auth\_basic\_user\_file /etc/nginx/passwd.db;  
                proxy\_redirect   off;  
                proxy\_set\_header Host            $host;  
                proxy\_set\_header X-Real-Ip       $remote\_addr;  
                proxy\_set\_header X-Forwarded-for $remote\_addr;  
                proxy\_connect\_timeout 30;  
                proxy\_send\_timeout 30;  
                proxy\_read\_timeout 60;  
                proxy\_buffer\_size 256k;  
                proxy\_buffers 4 256k;  
        \}  
\}**

**\[root@host-172-22-14-89 ~\]\# service nginx restart  **

**完成，登录网页测试一下**

![70 8][]

## 安装Filebeat ##

在被监控日志的服务器上安装filebeat服务，比如nginx服务器

\[root@host-172-22-14-89 ~\]\# cd /data/soft/

\[root@host-172-22-14-89 ~\]\# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-linux-x86\_64.tar.gz

\[root@host-172-22-14-89 soft\]\# tar -zxvf filebeat-6.2.3-linux-x86\_64.tar.gz

\[root@host-172-22-14-89 soft\]\# cd filebeat-6.2.3-linux-x86\_64

查看nginx的日志文件

\[root@host-172-22-14-89 ~\]\# ls /var/log/nginx/  
access.log              access.log-20180923.gz  error.log               error.log-20180923.gz

\[root@host-172-22-14-89 filebeat-6.2.3-linux-x86\_64\]\# vim filebeat.yml

![70 9][]

![70 10][]

编辑后的结果如下；

enabled: false改为enabled: true；

\- /var/log/\*.log改为- /var/log/nginx/\*.log

output.elasticsearch:改为\#output.elasticsearch:

hosts: \["localhost:9200"\]改为  \# hosts: \["localhost:9200"\]

\#output.logstash:改为 output.logstash:

\#hosts: \["localhost:5044"\]改为  hosts: \["172.22.14.77:5044"\]

![70 11][]

![70 12][]

启动FileBeat：./filebeat -e -c filebeat.yml -d “publish”

\[root@host-172-22-14-89 filebeat-6.2.3-linux-x86\_64\]\# nohup /data/soft/filebeat-6.2.3-linux-x86\_64/filebeat -e -c /data/soft/filebeat-6.2.3-linux-x86\_64/filebeat.yml -d "publish" &

至此，FileBeat也启动成功了，接下来验证服务；

如果要停止服务

\[root@host-172-22-14-89 log\]\# ps -ef|grep filebeat  
root      67218  65638  0 13:48 pts/1    00:00:00 /data/soft/filebeat-6.2.3-linux-x86\_64/filebeat -e -c /data/soft/filebeat-6.2.3-linux-x86\_64/filebeat.yml -d publish  
root      68838  65638  0 13:58 pts/1    00:00:00 grep --color=auto filebeat

\[root@host-172-22-14-89 log\]\# kill 67218

配置kibana

![70 13][]

![70 14][] 输入logstash-\*

![70 15][]![70 16][]

![70 17][]

至此，ELK-6.2.3版本的服务和日志上报的搭建已经完成，后续如果还有业务服务器要上报日志，只需按照上述步骤安装和配置FileBeat即可

[https_www.elastic.co_guide_en_elasticsearch_hadoop_6.2_requirements.html]: https://www.elastic.co/guide/en/elasticsearch/hadoop/6.2/requirements.html
[70]: /images/20220511/e96adde647da464a903038e779efc3f4.png
[CentOS7_JDK8]: https://blog.csdn.net/boling_cavalry/article/details/79840049
[http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[Link 1]: http://zhidao.baidu.com/search?word=%E6%96%87%E4%BB%B6%E6%8F%8F%E8%BF%B0%E7%AC%A6&fr=qb_search_exp&ie=utf8
[https_www.elastic.co_downloads]: https://www.elastic.co/downloads
[70 1]: /images/20220511/263d2b2028914610ba5fe523f38a6501.png
[70 2]: /images/20220511/bee5a8f4e8954aeda09721ba8a8c0765.png
[70 3]: /images/20220511/908be8e1f7b34b4f8dc0c3c79551c212.png
[70 4]: /images/20220511/f0876a0ff2d747b1bc70afa3265bbc71.png
[70 5]: /images/20220511/95499dacc0d1456698a9abff418db20f.png
[70 6]: /images/20220511/70fea5a83bb943978322e7e1cfa97854.png
[http]: http://192.168.119.132:5601/
[70 7]: /images/20220511/0e75f60c5c544d97bc99544b9211c6a8.png
[70 8]: /images/20220511/81ac2b576ddf4bfbb9fed4db04735b88.png
[70 9]: /images/20220511/a5476a819dd9450f8340ae8a69519a92.png
[70 10]: /images/20220511/2d41cc9c6bd34374a671e947330e6d0b.png
[70 11]: /images/20220511/47205df0ab91413794909717a3746ec4.png
[70 12]: /images/20220511/625e7e19e3164ac7befd269d4f166ce4.png
[70 13]: /images/20220511/fb5d82801db84d7a98d44e2baa2d26c3.png
[70 14]: /images/20220511/29e15e10cbbd41ba8965e16e1ea53bc1.png
[70 15]: https://img-blog.csdn.net/2018092514081062?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 16]: /images/20220511/867e5ea4977e4e888a3a7b61c7d3a29f.png
[70 17]: /images/20220511/fccc9831bb8a445e82edf5f122b7b45d.png