ELK-日志收集系统在Centos上环境安装

缺乏、安全感 2022-03-17 05:46 204阅读 0赞

## ELK-日志收集系统在Centos上环境安装 ##

### 文章目录 ###

*   *  ELK-日志收集系统在Centos上环境安装
 *  前言
 *  安装
 *   *  elastcsearch6.5.4安装
     *   *  准备
         *  学习资料
         *  启动
         *   *  创建新用户
             *  取掉只能本机访问的配置
             *  配置跨域访问
             *  启动命令
             *  测试
     *  安装分词ik
     *   *  安装elasticsearch-head
     *  LogStash6.5.4安装
     *   *  学习资料
         *  准备
         *  配置
         *  启动
         *  命令行参数
         *  注意
     *  Kibana6.5.4安装
     *   *  学习资料
         *  安装
         *  启动
 *  windows安装
 *  nxlog在windows安装

# 前言 #

版本： ELK6.5.4  
两台机器

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>ip</th> 
   <th>作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>windows系统</td> 
   <td>192.168.2.32</td> 
   <td>本机，测试</td> 
  </tr> 
  <tr> 
   <td>centos7</td> 
   <td>192.168.2.33</td> 
   <td>安装elastcsearch6.5.4</td> 
  </tr> 
 </tbody> 
</table>

[elk-stack-guide-cn.pdf电子书][elk-stack-guide-cn.pdf],提取码glws

> 这里先介绍一个杀死占用指定端口的进程方法：

netstat -nlp | grep :9200|awk '{print $7}' | awk -F"/" '{ print $1 }'|xargs kill -9

> 上面代码杀死占用9200端口的进程

# 安装 #

## elastcsearch6.5.4安装 ##

### 准备 ###

[Elastic中文官网][Elastic],基本上下载速度很慢，毕竟跨越国家了。  
从[我的网盘下载elastcsearch6.5.4][elastcsearch6.5.4]，提取码：naqy

1.  创建目录elk:mkdir /url/local/elk
2.  将elasticsearch-6.5.4.tar.gz传到elk目录下
3.  解压：tar -zxvf elasticsearch-6.5.4.tar.gz

### 学习资料 ###

1.  [ElasticSearch权威指南][ElasticSearch]或者[ElasticSearch权威指南][ElasticSearch 1]
2.  [Elasticsearch 基础入门][Elasticsearch]

### 启动 ###

#### 创建新用户 ####

因为安全问题elasticsearch不让用root用户直接运行，所以要创建新用户  
参考[Linux用户和权限管理][Linux],使用useradd命令创建一个chenyuan用户。  
修改elasticsearch-6.5.4拥有都为chenyuan用户,命令：chown -R chenyuan /url/local/elk/elasticsearch-6.5.4

#### 取掉只能本机访问的配置 ####

命令：vim config/elasticsearch.yml

# 去掉 network.host 前边的注释，将它的值改成0.0.0.0
    network.host: 0.0.0.0

#### 配置跨域访问 ####

命令：vim config/elasticsearch.yml  
添加

http.cors.allow-origin: "*"
    http.cors.enabled: true

这两个配置是支持跨域访问用的，这样的话后续安装的head插件和kibana才能够正常的访问es的查询接口。

#### 启动命令 ####

进入/url/local/elk/elasticsearch-6.5.4  
切换用户执行elasticsearch命令：sudo -u chenyuan bin/./elasticsearch

> 如果想以后台方式启动，则在末尾加上\-d，比如sudo -u chenyuan bin/./elasticsearch -d  
> 关于启动方式：
> 
> 1.  sudo -u chenyuan bin/./elasticsearch：执行启动，日志输出到控制台stdout
> 2.  sudo -u chenyuan bin/./elasticsearch -d:以daemon守护进程启动（后台运行），日志输出到/url/local/elk/elasticsearch-6.5.4/logs/elasticsearch.log
> 3.  nohup sudo -u chenyuan bin/./elasticsearch > /var/logs/test.log 2>&1 & 将标准输出和标准错误输出都重定向到/var/logs/test.log文件里

可能遇到的问题

1.  问题：max file descriptors \[65535\]xxxxx  
    例如：max file descriptors \[65535\] for elasticsearch process is too low, increase to at least \[65536\]  
    修改/etc/security/limits.conf，添加如下：

* - nproc 65536
    * - nofile 65536

1.  问题：max number of threads \[3802\]xxxx  
    例如：max number of threads \[3802\] for user \[chenyuan\] is too low, increase to at least \[4096\]  
    修改/etc/security/limits.d/90-nproc.conf，添加如下：

* soft nproc unlimited
    root soft nproc unlimited

1.  问题：max virtual memory areas  
    例如：vm.max\_map\_count \[65530\] likely too low, increase to at least \[262144\]  
    以root用户执行命令：sudo sysctl -w vm.max\_map\_count=262144  
    上述方法修改之后，如果重启虚拟机将失效，所以：

解决办法：

在 /etc/sysctl.conf文件最后添加一行

vm.max_map_count=262144

执行 命令：sysctl -p  
如果vm.max\_map\_count = 262144表示配置正确  
即可永久修改。

启动很慢，命令启动日志：

[2019-02-23T09:03:24,612][INFO ][o.e.p.PluginsService     ] [YURwwIO] loaded module [x-pack-watcher]
    [2019-02-23T09:03:24,612][INFO ][o.e.p.PluginsService     ] [YURwwIO] no plugins loaded
    [2019-02-23T09:04:36,610][INFO ][o.e.x.s.a.s.FileRolesStore] [YURwwIO] parsed [0] roles from file [/usr/local/elk/elasticsearch-6.5.4/config/roles.yml]
    [2019-02-23T09:04:48,889][INFO ][o.e.x.m.j.p.l.CppLogMessageHandler] [YURwwIO] [controller/2392] [Main.cc@109] controller (64 bit): Version 6.5.4 (Build b616085ef32393) Copyright (c) 2018 Elasticsearch BV
    [2019-02-23T09:04:51,157][DEBUG][o.e.a.ActionModule       ] [YURwwIO] Using REST wrapper from plugin org.elasticsearch.xpack.security.Security
    [2019-02-23T09:04:53,758][INFO ][o.e.d.DiscoveryModule    ] [YURwwIO] using discovery type [zen] and host providers [settings]
    [2019-02-23T09:05:02,526][INFO ][o.e.n.Node               ] [YURwwIO] initialized
    [2019-02-23T09:05:02,540][INFO ][o.e.n.Node               ] [YURwwIO] starting ...
    [2019-02-23T09:05:04,737][INFO ][o.e.t.TransportService   ] [YURwwIO] publish_address {192.168.2.33:9300}, bound_addresses {[::]:9300}
    [2019-02-23T09:05:05,104][INFO ][o.e.b.BootstrapChecks    ] [YURwwIO] bound or publishing to a non-loopback address, enforcing bootstrap checks
    [2019-02-23T09:05:08,110][INFO ][o.e.m.j.JvmGcMonitorService] [YURwwIO] [gc][young][4][26] duration [768ms], collections [1]/[2.1s], total [768ms]/[54.4s], memory [113.1mb]->[98.6mb]/[1015.6mb], all_pools {[young] [51.9mb]->[33.2mb]/[66.5mb]}{[survivor] [6.9mb]->[8.3mb]/[8.3mb]}{[old] [54.2mb]->[57.1mb]/[940.8mb]}
    [2019-02-23T09:05:08,186][INFO ][o.e.m.j.JvmGcMonitorService] [YURwwIO] [gc][4] overhead, spent [1s] collecting in the last [2.1s]
    [2019-02-23T09:05:09,380][INFO ][o.e.c.s.MasterService    ] [YURwwIO] zen-disco-elected-as-master ([0] nodes joined), reason: new_master {YURwwIO}{YURwwIOOQBqs6RrOyyqfSQ}{yY4qVOEsS6q56blUe8gWKg}{192.168.2.33}{192.168.2.33:9300}{ml.machine_memory=1021906944, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}
    [2019-02-23T09:05:09,435][INFO ][o.e.c.s.ClusterApplierService] [YURwwIO] new_master {YURwwIO}{YURwwIOOQBqs6RrOyyqfSQ}{yY4qVOEsS6q56blUe8gWKg}{192.168.2.33}{192.168.2.33:9300}{ml.machine_memory=1021906944, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true}, reason: apply cluster state (from master [master {YURwwIO}{YURwwIOOQBqs6RrOyyqfSQ}{yY4qVOEsS6q56blUe8gWKg}{192.168.2.33}{192.168.2.33:9300}{ml.machine_memory=1021906944, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true} committed version [1] source [zen-disco-elected-as-master ([0] nodes joined)]])
    [2019-02-23T09:05:09,907][INFO ][o.e.x.s.t.n.SecurityNetty4HttpServerTransport] [YURwwIO] publish_address {192.168.2.33:9200}, bound_addresses {[::]:9200}
    [2019-02-23T09:05:09,920][INFO ][o.e.n.Node               ] [YURwwIO] started
    [2019-02-23T09:05:44,075][WARN ][o.e.m.j.JvmGcMonitorService] [YURwwIO] [gc][young][17][27] duration [22.2s], collections [1]/[23s], total [22.2s]/[1.2m], memory [132mb]->[97.8mb]/[1015.6mb], all_pools {[young] [66.5mb]->[533.7kb]/[66.5mb]}{[survivor] [8.3mb]->[5.6mb]/[8.3mb]}{[old] [57.1mb]->[91.7mb]/[940.8mb]}
    [2019-02-23T09:05:44,321][WARN ][o.e.m.j.JvmGcMonitorService] [YURwwIO] [gc][17] overhead, spent [22.2s] collecting in the last [23s]
    [2019-02-23T09:05:56,374][WARN ][o.e.m.j.JvmGcMonitorService] [YURwwIO] [gc][19] overhead, spent [10.8s] collecting in the last [11s]
    [2019-02-23T09:05:59,843][WARN ][o.e.x.s.a.s.m.NativeRoleMappingStore] [YURwwIO] Failed to clear cache for realms [[]]
    [2019-02-23T09:06:01,512][INFO ][o.e.l.LicenseService     ] [YURwwIO] license [e64dcf35-113e-4c71-b3cf-a7993b3f027d] mode [basic] - valid
    [2019-02-23T09:06:02,134][WARN ][o.e.c.s.ClusterApplierService] [YURwwIO] cluster state applier task [apply cluster state (from master [master {YURwwIO}{YURwwIOOQBqs6RrOyyqfSQ}{yY4qVOEsS6q56blUe8gWKg}{192.168.2.33}{192.168.2.33:9300}{ml.machine_memory=1021906944, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true} committed version [2] source [local-gateway-elected-state]])] took [47.9s] above the warn threshold of 30s
    [2019-02-23T09:06:02,183][INFO ][o.e.g.GatewayService     ] [YURwwIO] recovered [2] indices into cluster_state
    [2019-02-23T09:06:02,186][WARN ][o.e.c.s.MasterService    ] [YURwwIO] cluster state update task [local-gateway-elected-state] took [48.7s] above the warn threshold of 30s
    [2019-02-23T09:06:08,171][INFO ][o.e.c.r.a.AllocationService] [YURwwIO] Cluster health status changed from [RED] to [YELLOW] (reason: [shards started [[666][2]] ...]).

#### 测试 ####

重新打开一个终端，执行命令：curl localhost:9200，说明本机可以访问  
换台电脑，在chrome浏览器打开： [http://192.168.2.33:9200][http_192.168.2.33_9200],有结果则表示外网可访问

## 安装分词ik ##

[ik分词各版本下载地址][ik],下载成功后，我的是 elasticsearch-analysis-ik-6.5.4.zip，注意版本要与elasticsearch对应上，将包上传到/url/local/elk/elasticsearch-6.5.4/plugins/ik(`ik`目录在自己创建)，然后解决unzip elasticsearch-analysis-ik-6.5.4.zip  
重启elasticsearch，如果输出日志里有\[2019-02-23T15:05:04,127\]\[INFO \]\[o.e.p.PluginsService \] \[YURwwIO\] loaded plugin \[analysis-ik\]表示安装ik成功

### 安装elasticsearch-head ###

这个只是测试，可以不安装  
`该插件能直接对 Elasticsearch 的数据进行增删改查，因此存在安全性的问题，建议生产环境下不要使用该插件！`  
要求本机安装了nodejs，[阿里云centos环境之Gradle/Nodejs安装(十六)][centos_Gradle_Nodejs]  
[elasticsearch-head的源码位置][elasticsearch-head]。  
进入 /url/local/elk目录。  
执行git命令,两者源码一样：git clone git://github.com/mobz/elasticsearch-head.git或wget [https://github.com/mobz/elasticsearch-head/archive/master.zip][https_github.com_mobz_elasticsearch-head_archive_master.zip]。

cd elasticsearch-head
    npm install --registry https://registry.npm.taobao.org  --unsafe-perm=true --allow-root
    #前台启动方式
    npm run start
    #或者后台启动方式
    nohup npm run start &

打开[http://192.68.2.33:9100/][http_192.68.2.33_9100]，能成功打开页面

> 注意要把9100端口对外开放。  
> 问题：system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk  
> 原因：Centos6不支持SecComp，而ES5.4.1默认bootstrap.system\_call\_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。  
> 解决方法：在elasticsearch.yml中新增配置bootstrap.system\_call\_filter，设为false，注意要在Memory下面:  
> bootstrap.memory\_lock: false

效果如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FjaGVueXVhbg_size_16_color_FFFFFF_t_70]

## LogStash6.5.4安装 ##

### 学习资料 ###

[Logstash 最佳实践][Logstash]

### 准备 ###

从[我的网盘下载elastcsearch6.5.4][elastcsearch6.5.4]，提取码：naqy

1.  创建目录elk:mkdir /url/local/elk
2.  将logstash-6.5.0.tar.gz传到elk目录下
3.  解压：tar -zxvf logstash-6.5.0.tar.gz

### 配置 ###

编辑 /usr/local/logstash/config/logstash.yml配置文件修改如下内容：

node.name: cpy04.dev.xjh.com    #设置节点名称，一般写主机名
    path.data: /usr/local/logstash/plugin-data    #创建logstash 和插件使用的持久化目录
    config.reload.automatic: true    #开启配置文件自动加载
    config.reload.interval: 10    #定义配置文件重载时间周期
    http.host: "cpy04.dev.xjh.com"    #定义访问主机名，一般为域名或IP

### 启动 ###

进入mkdir /url/local/elk/logstash-6.5.0/bin目录下，执行logstash脚本，当然logstash需要其它参数的配置，这在下面讲。`如果想后台运行，你需要同时在命令前面加 nohup，后面加 &。`

### 命令行参数 ###

[Logstash 命令行参数][Logstash 1],比较重要的是-e和-f。  
\-e是后面跟配置，比如：./logstash -e ‘input \{ stdin \{ \} \} output \{ stdout \{\} \}’  
\-e是后面跟配置文件，比如将input \{ stdin \{ \} \} output \{ stdout \{\} \}放在test.conf配置文件里，命令行就变成./logstash -f test.conf

### 注意 ###

input输入是文件的话，输入插件默认使用 “\\n” 判断日志中每行的边界位置

> 启动命令：nohup bin/./logstash -f myconf/nxlog\_logstash.conf --config.reload.automatic &  
> 停止命令：netstat -nlp | grep :9600|awk ‘\{print $7\}’ | awk -F"/" ‘\{ print $1 \}’|xargs kill -9

## Kibana6.5.4安装 ##

### 学习资料 ###

[kibana中文教程][kibana]

### 安装 ###

从[我的网盘下载elastcsearch6.5.4][elastcsearch6.5.4]，提取码：naqy

1.  将kibana-6.5.4-linux-x86\_64.tar.gz传到elk目录下
2.  解压：tar -zxvf kibana-6.5.4-linux-x86\_64.tar.gz
3.  创建一个logs目录

编辑conf/kibana.yml配置文件

server.port: 5601
    server.host: "0.0.0.0"
    elasticsearch.url: "http://localhost:9200"
    kibana.index: ".newkibana"
    logging.dest: /usr/local/elk/kibana-6.5.4-linux-x86_64/logs/kibana.log #配置kibana的日志文件路径，不然默认是messages里记录日志
    xpack.security.enabled: false   #添加这条，这条是配置kibana的安全机制，暂时关闭。

默认是kibana.index: ".kibana"会报Kibana server is not ready yet错误,这里配置为.newkibana

### 启动 ###

前台启动：bin/./kibana
    后台启动:nohup /bin/./kibana &

启动成功后，占用5601端口。  
访问[http://192.168.2.33:5601][http_192.168.2.33_5601]试试，注意5601端口要对外开放.由于我们并没有安装x-pack，所以此时是没有用户名和密码的，可以直接访问的：  
由于kibana是使用node.js开发的，所以进程名称为node,可以使用ps aux|grep node与netstat -antlp|grep 5601<//kbd>做对比验证进程是否是node,效果  
![在这里插入图片描述][20190225171214242.png]

# windows安装 #

windows安装可参考[ELK学习记录三 ：elasticsearch、logstash及kibana的安装与配置(windows)][ELK_ _elasticsearch_logstash_kibana_windows]，其中除了logStash需要安装到windows上外，其它没必需，因为logStash负责收集日志的，与客户端亲密性更高。  
因为 windows 平台上没有 inode 的概念，Logstash 某些版本在 windows 平台上监听文件不是很靠谱。windows 平台上，推荐考虑使用 nxlog 作为收集端

# nxlog在windows安装 #

[官网下载地址][Link 1],下载nxlog-ce-2.10.2150.msi，点击安装。  
64位默认安装路径：C:\\Program Files (x86)\\nxlog，  
32位默认安装路径：C:\\Program Files\\nxlog，32  
日志文件默认路径：C:\\Program Files (x86)\\nxlog\\data\\nxlog.log。  
修改conf下nxlog.conf配置文件

<Input testfile>
    	Module im_file
    	File "D:\\jar\\dongli\\logs\\spring-boot.log"
    	SavePos TRUE
    </Input>
    <Output out>
    	Module om_tcp
    	Host 192.168.1.238
    	Port 514
    </Output>
    <Route 1>
    	Path testfile => out
    </Route>

上面配置是读取D:\\jar\\dongli\\logs\\spring-boot.log，通过tcp协议发送到192.168.1.238:514地址上，而192.168.1.238:514我是用logstash监听514端口的。  
所以，上面配置意思是读取配置文件发送给logstash。

[elk-stack-guide-cn.pdf]: https://pan.baidu.com/s/14fdLO-CcGS2_KIwyRKG-Ew
[Elastic]: https://www.elastic.co/cn/downloads
[elastcsearch6.5.4]: https://pan.baidu.com/s/1pdjdOL2SgTXCggbxHqlkCg
[ElasticSearch]: https://es.xiaoleilu.com/010_Intro/25_Tutorial_Indexing.html
[ElasticSearch 1]: https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
[Elasticsearch]: https://www.extlight.com/2017/09/27/Elasticsearch-%E5%9F%BA%E7%A1%80%E5%85%A5%E9%97%A8/
[Linux]: https://blog.csdn.net/achenyuan/article/details/86506249#_16
[http_192.168.2.33_9200]: http://192.168.2.33:9200
[ik]: https://github.com/medcl/elasticsearch-analysis-ik/releases
[centos_Gradle_Nodejs]: https://blog.csdn.net/achenyuan/article/details/86646386
[elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[https_github.com_mobz_elasticsearch-head_archive_master.zip]: https://github.com/mobz/elasticsearch-head/archive/master.zip
[http_192.68.2.33_9100]: http://192.68.2.33:9100/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FjaGVueXVhbg_size_16_color_FFFFFF_t_70]: /images/20220317/4635391c4640462899405572074f6e9f.png
[Logstash]: https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/index.html
[Logstash 1]: https://blog.csdn.net/jiankunking/article/details/67636487
[kibana]: https://www.elastic.co/guide/cn/kibana/current/introduction.html
[http_192.168.2.33_5601]: http://192.168.2.33:5601
[20190225171214242.png]: /images/20220317/1b356a6ade904a758830f7528733c40a.png
[ELK_ _elasticsearch_logstash_kibana_windows]: https://www.cnblogs.com/luyanlong/p/9007460.html
[Link 1]: https://nxlog.co/products/nxlog-community-edition/download