ELK-7.4.0基础环境安装

Bertha 。 2023-06-22 13:37 2阅读 0赞

elk这个环境，之前在其他公司也部署过，这次特意在这整理下。

在开始之前，我一直在纠结几个问题：  
1、是用tar包安装还是直接用yum安装  
2、elasticsearch、logstash是用集群还是单机的  
3、到底用不用消息中间件，用的话是用redis还是kafka  
4、logstash和filebeat选择哪个作为客户端的日志收集工具

在经过一番思想斗争和规划后，我决定了：  
**第一个问题**：用tar包安装，这样可以自己规划安装的位置  
**第二个问题**：这个需要看线上的日志量和资源情况而定。线上日志量大，而且领导比较重视的话，多申请几台服务器应该不是难事。我这边也用集群的模式，集群都会，单机不是分分钟的事情么？哈哈。  
**第三个问题**：消息中间件还是要用的，因为可以解耦嘛。用什么呢？就直接用高大上的kafka吧，毕竟吞入量大。  
**第四个问题**：这里我选择filebeat作为客户端的日志收集工具。因为filebeat是一个轻量级的日志收集工具，相比logstash占用资源要少很多。我的想法是，在日志收集阶段，不进行日志的处理，只负责收集日志，减轻客户端服务器的压力，日志处理统一放到中心端的logstash中进行。

回答完上面的几个问题，我的ELK日志平台的总体架构就出来了，如下图。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70]

## 一、环境介绍 ##

软件版本

<table> 
 <thead> 
  <tr> 
   <th>软件</th> 
   <th>版本</th> 
   <th>作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>jdk</td> 
   <td>1.8.0_202</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>zookeeper</td> 
   <td>3.5.5</td> 
   <td>协调管理kafka</td> 
  </tr> 
  <tr> 
   <td>kafka</td> 
   <td>2.2.1</td> 
   <td>数据缓存，解耦</td> 
  </tr> 
  <tr> 
   <td>elasticsearch</td> 
   <td>7.4.0</td> 
   <td>数据持久化，搜索引擎</td> 
  </tr> 
  <tr> 
   <td>logstash</td> 
   <td>7.4.0</td> 
   <td>从kafka中获取日志，转发搜</td> 
  </tr> 
  <tr> 
   <td>kibana</td> 
   <td>7.4.0</td> 
   <td>数据可视化展示</td> 
  </tr> 
  <tr> 
   <td>filebeat</td> 
   <td>7.4.0</td> 
   <td>客户端收集日志，输出到kafka</td> 
  </tr> 
 </tbody> 
</table>

服务器规划

<table> 
 <thead> 
  <tr> 
   <th>主机名</th> 
   <th>IP</th> 
   <th>节点类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>node1</td> 
   <td>192.168.0.141</td> 
   <td>主节点（es、logstash、zookeeper、kafka）</td> 
  </tr> 
  <tr> 
   <td>node2</td> 
   <td>192.168.0.142</td> 
   <td>主节点（es、logstash、zookeeper、kafka）</td> 
  </tr> 
  <tr> 
   <td>node3</td> 
   <td>192.168.0.143</td> 
   <td>主节点（es、logstash、zookeeper、kafka）</td> 
  </tr> 
  <tr> 
   <td>node4</td> 
   <td>192.168.0.144</td> 
   <td>搜索节点（es、kibana、node、head）</td> 
  </tr> 
  <tr> 
   <td>log1</td> 
   <td>192.168.0.145</td> 
   <td>微服务服务器1（filebeat）</td> 
  </tr> 
  <tr> 
   <td>log2</td> 
   <td>192.168.0.146</td> 
   <td>微服务服务器2（filebeat）</td> 
  </tr> 
  <tr> 
   <td>log3</td> 
   <td>192.168.0.147</td> 
   <td>nginx代理服务器（filebeat）</td> 
  </tr> 
 </tbody> 
</table>

除去zookeeper和kafka外，其他的elk软件我统一的放到/usr/local/elkstack/这个目录下，并都用elkstack这个用户启动。

[root@node1 ~]# useradd elkstack
    [root@node1 ~]# mkdir -p /usr/local/elkstack

## 二、安装jdk+zookeeper+kafka ##

zookeeper和kafka的安装之前都有写过专篇，移步过去就行

[zookeeper集群安装][zookeeper]  
[kafka集群安装][kafka]

## 三、安装elasticsearch ##

下载es的tar包，解压

[root@node1 ~]# cd /usr/local/elkstack
    [root@node1 elkstack]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.0-linux-x86_64.tar.gz
    [root@node1 elkstack]# tar -zxf elasticsearch-7.4.0-linux-x86_64.tar.gz

修改配置文件：

node1配置文件

[root@node1 ~]# cat /usr/local/elkstack/elasticsearch-7.4.0/config/elasticsearch.yml | grep -Ev '^#|^$'
    cluster.name: es-cluster
    node.name: node1
    path.data: /data/elasticsearch7/esdata
    path.logs: /data/elasticsearch7/logs
    network.host: 192.168.0.141
    http.port: 9200
    discovery.seed_hosts: ["node1", "node2", "node3"]
    cluster.initial_master_nodes: ["node1", "node2", "node3"]
    http.cors.enabled: true
    http.cors.allow-origin: "*"

node2配置文件

[root@node2 ~]# cat /usr/local/elkstack/elasticsearch-7.4.0/config/elasticsearch.yml | grep -Ev '^#|^$'
    cluster.name: es-cluster
    node.name: node2
    path.data: /data/elasticsearch7/esdata
    path.logs: /data/elasticsearch7/logs
    network.host: 192.168.0.142
    http.port: 9200
    discovery.seed_hosts: ["node1", "node2", "node3"]
    cluster.initial_master_nodes: ["node1", "node2", "node3"]
    http.cors.enabled: true
    http.cors.allow-origin: "*"

node3配置文件

[root@node3 ~]# cat /usr/local/elkstack/elasticsearch-7.4.0/config/elasticsearch.yml | grep -Ev '^#|^$'
    cluster.name: es-cluster
    node.name: node3
    path.data: /data/elasticsearch7/esdata
    path.logs: /data/elasticsearch7/logs
    network.host: 192.168.0.143
    http.port: 9200
    discovery.seed_hosts: ["node1", "node2", "node3"]
    cluster.initial_master_nodes: ["node1", "node2", "node3"]
    http.cors.enabled: true
    http.cors.allow-origin: "*"

node4配置文件

[root@node4 ~]# cat /usr/local/elkstack/elasticsearch-7.4.0/config/elasticsearch.yml | grep -Ev '^#|^$'
    cluster.name: es-cluster
    node.name: node4
    node.data: false
    path.data: /data/elasticsearch7/esdata
    path.logs: /data/elasticsearch7/logs
    network.host: 192.168.0.144
    http.port: 9200
    discovery.seed_hosts: ["node1", "node2", "node3"]
    cluster.initial_master_nodes: ["node1", "node2", "node3"]
    http.cors.enabled: true
    http.cors.allow-origin: "*"

`cluster.name`：集群名称，相同集群内的节点设置相同的集群名  
`node.name`：节点名称，建议统一采用节点的hostname  
`node.data`：是否允许该节点存储数据（默认是开启的），但是这里的node4中的es是用来做搜索节点的，不用来存储数据，所以node4中的配置为false。`path.data`：es存储数据的目录  
`path.logs`：es的日志目录  
`network.host`：es的监听地址  
`http.port`：es监听端口  
`discovery.seed_hosts`：在开发环境中，服务发现主机名不需要设置，Elasticsearch默认会从本机的9300-9305端口尝试去连接其它节点，这提供了自动集群的体验，不需要任何配置。但在正式环境中，每个节点理论上都是不同的机器，这时候需要配置discovery.seed\_hosts，discovery.seed\_hosts可以是ip、ip:端口和域名。如果配置是ip，Elasticsearch默认会使用transport.profiles.default.port配置项的端口，该端口默认为9300；如果配置是域名，且该域名下绑定了多个ip，ES会尝试去连接多个ip。  
`cluster.initial_master_nodes`：当开启一个全新的集群时，会有一个集群的引导步骤，这步骤用来确定哪些节点参与第一次的主节点选举。在开发模式下，这个步骤由节点自动完成，这种模式本质上是不安全的，因为不是所有节点都适合做主节点，主节点关系到集群的稳定性。因此在生产模式下，集群第一次启动时，需要有一个适合作为主节点的节点列表，这个列表就是通过cluster.initial\_master\_nodes来配置，在配置中需要写出具体的节点名称，对应node.name配置项  
`http.cors.enabled`：是否允许跨域访问，head使用  
`http.cors.allow-origin`：是否允许跨域访问，head使用

创建数据和日志目录

[root@node1 ~]# mkdir -p /data/elasticsearch7/esdata /data/elasticsearch7/logs
    [root@node1 ~]# chown -R elkstack:elkstack /data/elasticsearch7

把es加入到环境变量中

[root@node1 ~]# vim /etc/profile
    [root@node1 ~]# tail -n 2 /etc/profile
    export ES_HOME=/usr/local/elkstack/elasticsearch-7.4.0
    export PATH=$PATH:$JAVA_HOME/bin:$ZOO_HOME/bin:$KAFKA_HOME/bin:$ES_HOME/bin
    [root@node1 ~]# source /etc/profile

修改jvm内存参数  
根据实际情况调整jvm参数，我这边是实验环境，就调整的小一点。

[elkstack@node1 config]$ cat /usr/local/elkstack/elasticsearch-7.4.0/config/jvm.options | grep -Ev '^$|^#' | grep -E 'Xms|Xmx'
    -Xms256m
    -Xmx256m

启动es

[root@node1 ~]# chown -R elkstack:elkstack /usr/local/elkstack
    [root@node1 ~]# su - elkstack
    [elkstack@node1 ~]$ elasticsearch -d

安装es中的问题

1、启动的时候报错：max virtual memory areas vm.max\_map\_count \[65530\] is too low, increase to at least \[262144\]

解决方法：

[root@node1 ~]# vim /etc/sysctl.conf
    vm.max_map_count=262144
    [root@node1 ~]# sysctl -p

## 四、安装head ##

插件是为了完成不同的功能，官方提供了一些插件，但大部分是收费的，另外也有一些开发爱好者提供的插件，可以实现对elasticsearch集群的状态监控与管理配置等功能，head插件就是其中之一。

在elasticsearch5.x版本以后，不再支持直接安装head插件，而是需要通过启动一个npm服务的方式。

head的git地址为[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]

根据之前的规划，我需要在node4上安装npm环境并部署head。

#### 1、安装npm环境 ####

下载地址为[https://nodejs.org/en/download/][https_nodejs.org_en_download]

选择长期支持版本的linux版本进行下载。

安装node很简单，步骤为：解压–>添加环境变–>使环境变量生–>验证

[root@node4 src]# xz -d node-v10.16.3-linux-x64.tar.xz 
    [root@node4 src]# tar -xf node-v10.16.3-linux-x64.tar -C /usr/local/
    [root@node4 src]# vim /etc/profile
    [root@node4 src]# tail -n 2 /etc/profile
    export NODE_HOME=/usr/local/node-v10.16.3-linux-x64
    export PATH=$PATH:$JAVA_HOME/bin:$ES_HOME/bin:$NODE_HOME/bin
    [root@node4 src]# source /etc/profile
    [root@node4 src]# node -v
    v10.16.3
    [root@node4 src]# npm -v
    6.9.0

#### 2、安装head ####

[root@node4 ~]# cd /usr/local/elkstack
    [root@node4 elkstack]# git clone https://github.com/mobz/elasticsearch-head
    [root@node4 elkstack]# cd elasticsearch-head/
    [root@node4 elkstack]# npm install ###在npm install的过程中可能会有报错，我问了前端的同事，他说能启动起来就没事。。
    [root@node4 elkstack]# chown -R elkstack:elkstack /usr/local/elkstack/elasticsearch-head
    [root@node4 elkstack]# su - elkstack
    [elkstack@node4 ~]$ cd /usr/local/elkstack/elasticsearch-head/
    [elkstack@node4 elasticsearch-head]$ nohup npm run start &

在浏览器中访问http://192.168.0.144:9100/，然后在浏览器中输入其中的一个es的地址，点击"连接"即可看到集群信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 1]

## 五、安装logstash ##

下载logstash的tar包，解压

[root@node1 ~]# cd /usr/local/elkstack
    [root@node1 elkstack]# wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz
    [root@node1 elkstack]# tar -zxf logstash-7.4.0.tar.gz

修改配置文件

[root@node1 ~]# cat /usr/local/elkstack/logstash-7.4.0/config/logstash.yml | grep -Ev '^#|^$'
    path.data: /data/logstash7/data
    path.logs: /data/logstash7/logs

创建数据和日志目录

[root@node1 ~]# mkdir -p /data/logstash7/data /data/logstash7/logs
    [root@node1 ~]# chown -R elkstack:elkstack /data/logstash7

把logstash加入到环境变量中

[root@node1 ~]# vim /etc/profile
    [root@node1 ~]# tail -n 2 /etc/profile
    export LOGSTASH_HOME=/usr/local/elkstack/logstash-7.4.0
    export PATH=$PATH:$JAVA_HOME/bin:$ZOO_HOME/bin:$KAFKA_HOME/bin:$ES_HOME/bin:$LOGSTASH_HOME/bin
    [root@node1 ~]# source /etc/profile

修改jvm内存参数  
根据实际情况调整jvm参数，我这边是实验环境，就调整的小一点。

[root@node1 ~]# cat /usr/local/elkstack/logstash-7.4.0/config/jvm.options | grep -Ev '^$|^#' | grep -E 'Xms|Xmx' 
    -Xms256m
    -Xmx256m

这里先不启动logstash，等到后面收集具体日志的时候会写相应的配置文件，等到那时候再启动。

## 六、安装kibana ##

下载kibana的tar包，解压

[root@node4 ~]# cd /usr/local/elkstack
    [root@node4 elkstack]# wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz
    [root@node4 elkstack]# tar -zxf kibana-7.4.0-linux-x86_64.tar.gz

修改配置文件

[root@node4 ~]# cat /usr/local/elkstack/kibana-7.4.0-linux-x86_64/config/kibana.yml|grep -Ev '^#|^$'
    server.port: 5601
    server.host: "0.0.0.0"
    elasticsearch.hosts: ["http://192.168.0.144:9200"]
    i18n.locale: "zh-CN"

`server.port`：kibana的监听端口  
`server.host`：kibana的监听地址  
`elasticsearch.hosts`：es的地址，这里是一个列表，我这里填写搜索节点的es地址。  
`i18n.locale`：从6.7版本开始，kibana支持中文，无需再像之前那样下载汉化包进行汉化。

创建日志目录

[root@node4 ~]# mkdir -p /data/kibana7/logs
    [root@node4 ~]# chown -R elkstack:elkstack /data/kibana7

把kibana加入到环境变量中

[root@node4 ~]# vim /etc/profile
    [root@node4 ~]# tail -n 2 /etc/profile
    export KIBANA_HOME=/usr/local/elkstack/kibana-7.4.0-linux-x86_64
    export PATH=$PATH:$JAVA_HOME/bin:$ES_HOME/bin:$NODE_HOME/bin:$KIBANA_HOME/bin
    [root@node4 ~]# source /etc/profile

启动kibana

[root@node4 ~]# chown -R elkstack:elkstack /usr/local/elkstack/kibana-7.4.0-linux-x86_64
    [root@node4 ~]# su - elkstack
    [elkstack@node4 ~]$ nohup kibana >> /data/kibana7/logs/kibana_nohup.log &

用浏览器访问http://192.168.0.144:5601/，中文版的kibana界面就展示在眼前了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 2]

到这里为止，我的elk的基础环境就已经搭建好了，接下去就开始真正的收集日志了。

参考文章：  
[https://blog.csdn.net/weixin\_41047933/article/details/82699823][https_blog.csdn.net_weixin_41047933_article_details_82699823]  
[https://blog.51cto.com/860143/2422797?source=dra][https_blog.51cto.com_860143_2422797_source_dra]  
[https://www.cnblogs.com/remainsu/p/elasticsearch-711-ji-qun-huan-jing-da-jian.html][https_www.cnblogs.com_remainsu_p_elasticsearch-711-ji-qun-huan-jing-da-jian.html]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191216140106430.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg==,size_16,color_FFFFFF,t_70
[zookeeper]: https://blog.csdn.net/wc1695040842/article/details/84955574
[kafka]: https://blog.csdn.net/wc1695040842/article/details/103560669
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[https_nodejs.org_en_download]: https://nodejs.org/en/download/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191216140139688.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2019121614020121.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg==,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_weixin_41047933_article_details_82699823]: https://blog.csdn.net/weixin_41047933/article/details/82699823
[https_blog.51cto.com_860143_2422797_source_dra]: https://blog.51cto.com/860143/2422797?source=dra
[https_www.cnblogs.com_remainsu_p_elasticsearch-711-ji-qun-huan-jing-da-jian.html]: https://www.cnblogs.com/remainsu/p/elasticsearch-711-ji-qun-huan-jing-da-jian.html