使用Metricbeat和Filebeat监控Nginx性能指标和日志

旧城等待， 2022-12-17 04:24 240阅读 0赞

### 文章目录 ###

*  使用Metricbeat和Filebeat监控Nginx性能指标和日志
 *   *  前言
     *  安装和配置配置Metricbeat
     *   *  下载Merticbeat
         *  安装Metricbeat
         *  Metricbeat目录
         *  配置连接Elasticsearch和Kibana
         *  启用Nginx stub\_status模块
         *  启用Nginx模块
         *  设置Metricbeat assets
         *  以服务方式运行Metricbeat
     *  安装和配置Filebeat
     *   *  下载Filebeat
         *  安装Filebeat
         *  Filebeat目录
         *  配置连接Elasticsearch和Kibana
         *  启用Nginx模块
         *  指定要采集的Nginx日志文件路径（可选）
         *  设置Filebeat assets
         *  以服务方式运行Filebeat
     *  在Kibana中可视化数据
     *   *  查看Filebeat日志数据
         *  查看Metricbeat指标数据
         *  定制Kibana Dashboard
     *  参考文档

# 使用Metricbeat和Filebeat监控Nginx性能指标和日志 #

## 前言 ##

本文描述了通过Metricbeat和Filebeat来分别监控Nginx的性能指标和日志，并将数据存储到Elasticsearch中，再通过Kibana进行可视化数据分析。

**前置条件：**

*  CentOS7 x86\_64
 *  Elastic Stack：
    
     *  已以rpm方式安装Elastichsearch 7.4.0
     *  已以rpm方式安装Kibana 7.4.0

如果还没有安装Elasticsearch和Kibana，可以参考：

*  [在CentOS 7上以rpm方式安装Elasticsearch 7.4.0][CentOS 7_rpm_Elasticsearch 7.4.0]
 *  [在CentOS7上以rpm方式安装Kibana 7.4.0][CentOS7_rpm_Kibana 7.4.0]

**目标机器：**

*  已以rpm方式安装Nginx

## 安装和配置配置Metricbeat ##

参见：

*  [https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-installation-configuration.html][https_www.elastic.co_guide_en_beats_metricbeat_current_metricbeat-installation-configuration.html]

### 下载Merticbeat ###

Metribeat 7.4.0：

*  [https://www.elastic.co/cn/downloads/past-releases/metricbeat-7-4-0][https_www.elastic.co_cn_downloads_past-releases_metricbeat-7-4-0]

Metricbeat 最新版：

*  [https://www.elastic.co/cn/downloads/beats/metricbeat][https_www.elastic.co_cn_downloads_beats_metricbeat]

下载Metricbeat 7.4.0 rpm和sha512:

# download rpm package
    wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.4.0-x86_64.rpm
    
    # download sha512
    wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.4.0-x86_64.rpm.sha512

校验sha512：

sha512sum -c metricbeat-7.4.0-x86_64.rpm.sha512

### 安装Metricbeat ###

安装Metricbeat：

rpm -ivh metricbeat-7.4.0-x86_64.rpm

### Metricbeat目录 ###

Metricbeat目录：

参见：

*  [https://www.elastic.co/guide/en/beats/metricbeat/current/directory-layout.html][https_www.elastic.co_guide_en_beats_metricbeat_current_directory-layout.html]

配置目录为`/etc/metricbeat`：

*  `metricbeat.yml` 为Metricbeat主配置文件。
 *  `modules.d/*.yml` 为Meticbeat module配置文件

程序目录为`/usr/share/metricbeat`:

数据目录为`/var/lib/metricbeat`，日志目录为`/var/log/metricbeat`。

### 配置连接Elasticsearch和Kibana ###

> 如果Metricbeat和Elasticsearch和Kibana安装在同一台机器上，则不需要修改配置。

编辑·`/etc/metricbeat/metricbeat.yml`，设置Elasticsearch和Kibana的连接。

修改前：

output.elasticsearch:
      # Array of hosts to connect to.
      hosts: ["localhost:9200"]
    
      # Optional protocol and basic auth credentials.
      #protocol: "https"
      #username: "elastic"
      #password: "changeme"
    
    
    setup.kibana:
    
      # Kibana Host
      # Scheme and port can be left out and will be set to the default (http and 5601)
      # In case you specify and additional path, the scheme is required: http://localhost:5601/path
      # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
      #host: "localhost:5601"
    
      # Kibana Space ID
      # ID of the Kibana Space into which the dashboards should be loaded. By default,
      # the Default Space will be used.
      #space.id:

### 启用Nginx stub\_status模块 ###

Metricbeat nginx模块监控Nginx时，需要启用Nginx的stub\_status模块（默认不开启）。

检查Nginx是否包含了`stub_status`模块：

nginx -V 2>&1 | grep --color -- --with-http_stub_status_module

在已有的Nginx配置文件（比如`/etc/nginx/nginx.conf`）的`server`中添加：

location /nginx_status { 
     	stub_status;
     	allow 127.0.0.1;	#only allow requests from localhost
     	deny all;		#deny all other hosts 
     }

测试Nginx配置：

nginx -t

重新加载Nginx配置：

nginx -s reload

测试stub\_status：

curl http://127.0.0.1/nginx_status

参见：

*  [https://www.nginx.com/blog/monitoring-nginx/][https_www.nginx.com_blog_monitoring-nginx]
 *  [https://www.tecmint.com/enable-nginx-status-page/][https_www.tecmint.com_enable-nginx-status-page]

### 启用Nginx模块 ###

参见：

*  [https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-module-nginx.html][https_www.elastic.co_guide_en_beats_metricbeat_current_metricbeat-module-nginx.html]

查看Metricbeat module：

metricbeat modules list

可以看到Metricbeat默认只启用了系统级别的指标数据采集（`system`）。

启用Metricbeat nginx module:

metricbeat modules enable nginx

再次运行`metricbeat modules list`，可以看到Metricbeat nginx module已经被启用。

Metricbeat nginx module的配置文件为`/etc/metricbeat/modules.d/nginx.yml`，修改该配置文件。

修改前：

- module: nginx
      #metricsets:
      # - stubstatus
      period: 10s
    
      # Nginx hosts
      hosts: ["http://127.0.0.1"]
    
      # Path to server status. Default server-status
      #server_status_path: "server-status"
    
      #username: "user"
      #password: "secret"

修改后：

- module: nginx
      metricsets: ["stubstatus"]
      enabled: true
      period: 10s
    
      # Nginx hosts
      hosts: ["http://127.0.0.1"]
    
      # Path to server status. Default server-status
      server_status_path: "nginx_status"

注意：`server_status_path`需要和启用Nginx stub\_status模块时设置的location保持一致。

测试Metricbeat配置：

metricbeat test config -e

### 设置Metricbeat assets ###

设置Metricbeat的Elasticsearch Index template和加载Kibana Dashboard：

# -e 表示把日志输出到控制台
    metricbeat setup -e

### 以服务方式运行Metricbeat ###

以服务方式运行Metricbeat：

systemctl enable metricbeat
    systemctl start metricbeat

查看Metricbeat服务日志：

systemctl status metricbeat -l

可以看到，Metricbeat的启动命令如下：

/usr/share/metricbeat/bin/metricbeat -e -c /etc/metricbeat/metricbeat.yml -path.home /usr/share/metricbeat -path.config /etc/metricbeat -path.data /var/lib/metricbeat -path.logs /var/log/metricbeat

查看Metricbeat服务详细日志：

journalctl -xefu metricbeat

## 安装和配置Filebeat ##

参见：

*  [https://www.elastic.co/guide/en/beats/filebeat/7.9/filebeat-installation-configuration.html][https_www.elastic.co_guide_en_beats_filebeat_7.9_filebeat-installation-configuration.html]

### 下载Filebeat ###

Filebeat 7.4.0：

*  [https://www.elastic.co/cn/downloads/past-releases/filebeat-7-4-0][https_www.elastic.co_cn_downloads_past-releases_filebeat-7-4-0]

Filebeat 最新版：

*  [https://www.elastic.co/cn/downloads/beats/filebeat][https_www.elastic.co_cn_downloads_beats_filebeat]

下载Filebeat 7.4.0 rpm和sha512:

# download rpm package
    wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpm
    
    # download sha512
    wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpm.sha512

校验sha512：

sha512sum -c filebeat-7.4.0-x86_64.rpm.sha512

### 安装Filebeat ###

安装Filebeat：

rpm -ivh filebeat-7.4.0-x86_64.rpm

### Filebeat目录 ###

Filebeat目录：

参见：

*  [https://www.elastic.co/guide/en/beats/filebeat/7.9/directory-layout.html][https_www.elastic.co_guide_en_beats_filebeat_7.9_directory-layout.html]

配置目录为`/etc/filebeat`：

*  `filebeat.yml` 为Filebeat主配置文件。
 *  `modules.d/*.yml` 为Filebeat module配置文件

程序目录为`/usr/share/filebeat`:

数据目录为`/var/lib/filebeat`，日志目录为`/var/log/filebeat`。

### 配置连接Elasticsearch和Kibana ###

> 如果Filebeat和Elasticsearch和Kibana安装在同一台机器上，则不需要修改配置。

编辑·`/etc/filebeat/filebeat.yml`，设置Elasticsearch和Kibana的连接。

修改前：

output.elasticsearch:
      # Array of hosts to connect to.
      hosts: ["localhost:9200"]
    
      # Optional protocol and basic auth credentials.
      #protocol: "https"
      #username: "elastic"
      #password: "changeme"
      
    
    setup.kibana:
    
      # Kibana Host
      # Scheme and port can be left out and will be set to the default (http and 5601)
      # In case you specify and additional path, the scheme is required: http://localhost:5601/path
      # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
      #host: "localhost:5601"
    
      # Kibana Space ID
      # ID of the Kibana Space into which the dashboards should be loaded. By default,
      # the Default Space will be used.
      #space.id:

### 启用Nginx模块 ###

参见：

*  [https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-module-nginx.html][https_www.elastic.co_guide_en_beats_filebeat_current_filebeat-module-nginx.html]

查看Filebeat module：

filebeat modules list

启用Filebeat nginx module:

filebeat modules enable nginx

再次运行`filebeat modules list`，可以看到Filebeat nginx module已经被启用。

Filebeat nginx module的配置文件为`/etc/filebeat/modules.d/nginx.yml`，可以修改该配置文件的`access.var.paths`和`error.var.paths`来指定要收集的Nginx access logs和error logs。

在CentOS7上，Nginx日志的默认路径为：

*  access log: `/var/log/nginx/access.log`
 *  error log: `/var/log/nginx/error.log`

### 指定要采集的Nginx日志文件路径（可选） ###

编辑`/etc/filebeat/modules.d/nginx.yml`，指定要采集的Nginx的日志文件路径，支持glob模糊匹配。

示例：

修改前：

- module: nginx
      # Access logs
      access:
        enabled: true
    
        # Set custom paths for the log files. If left empty,
        # Filebeat will choose the paths depending on your OS.
        #var.paths:
    
      # Error logs
      error:
        enabled: true
    
        # Set custom paths for the log files. If left empty,
        # Filebeat will choose the paths depending on your OS.
        #var.paths:

修改后：

- module: nginx
      # Access logs
      access:
        enabled: true
    
        # Set custom paths for the log files. If left empty,
        # Filebeat will choose the paths depending on your OS.
        var.paths: ["/var/log/nginx/*access.log"]
    
      # Error logs
      error:
        enabled: true
    
        # Set custom paths for the log files. If left empty,
        # Filebeat will choose the paths depending on your OS.
        var.paths: ["/var/log/nginx/*error.log"]

测试修改后的模块配置文件是否正确：

filebeat test config -e

### 设置Filebeat assets ###

设置Filebeat的Elasticsearch Index template和加载Kibana Dashboard：

# -e 表示把日志输出到控制台
    filebeat setup -e

### 以服务方式运行Filebeat ###

以服务方式运行Filebeat：

systemctl enable filebeat
    systemctl start filebeat

查看Filebeat服务日志：

systemctl status filebeat -l

可以看到，Filebeat的启动命令如下：

/usr/share/filebeat -path.config /etc/filebeat -path.data /var/lib/filebeat -path.logs /var/log/filebeat

查看Filebeat服务详细日志：

journalctl -xefu filebeat

## 在Kibana中可视化数据 ##

### 查看Filebeat日志数据 ###

在Kibana中

*  打开Discover菜单，选中`filebeat-*`，可以看到Filebeat采集并经过提取字段的Nginx日志数据。
 *  打开Logs菜单，就可以看到Filebeat采集的详细的Nginx日志数据了。
 *  打开Dashboard菜单，输入`nginx`搜索，打开"\[Filebeat Nginx\] Access and error logs ECS"，就可以看到Nginx日志数据的Dashboard了。

### 查看Metricbeat指标数据 ###

在Kibana中

*  打开Discover菜单，选中`metricbeat-*`，可以看到Metricbeat采集并经过提取字段的指标数据。
 *  打开Dashboard菜单
    
     *  输入`metricbet nginx`搜索，打开"\[Metricbeat Nginx\] Overview ECS"，就可以看到Nginx指标数据的Dashboard了。
     *  输入`metricbeat system`搜索，打开"\[Metricbeat System\] Overview ECS"，就可以看到系统指标数据的Dashboard了，并可切换到Host Overview和Containers overview查看指定的主机和进程的指标数据。

### 定制Kibana Dashboard ###

下一步还需要定制Kibana Dashboard来根据需要展示数据，并进行深入地可视化分析。

参见:

*  [https://www.elastic.co/guide/en/kibana/7.9/dashboard.html][https_www.elastic.co_guide_en_kibana_7.9_dashboard.html]

## 参考文档 ##

*  [https://www.elastic.co/cn/blog/how-to-monitor-nginx-web-servers-with-the-elastic-stack][https_www.elastic.co_cn_blog_how-to-monitor-nginx-web-servers-with-the-elastic-stack]
 *  [https://logz.io/blog/nginx-web-server-monitoring/][https_logz.io_blog_nginx-web-server-monitoring]

[CentOS 7_rpm_Elasticsearch 7.4.0]: https://cookcode.blog.csdn.net/article/details/109118474
[CentOS7_rpm_Kibana 7.4.0]: https://cookcode.blog.csdn.net/article/details/109127415
[https_www.elastic.co_guide_en_beats_metricbeat_current_metricbeat-installation-configuration.html]: https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-installation-configuration.html
[https_www.elastic.co_cn_downloads_past-releases_metricbeat-7-4-0]: https://www.elastic.co/cn/downloads/past-releases/metricbeat-7-4-0
[https_www.elastic.co_cn_downloads_beats_metricbeat]: https://www.elastic.co/cn/downloads/beats/metricbeat
[https_www.elastic.co_guide_en_beats_metricbeat_current_directory-layout.html]: https://www.elastic.co/guide/en/beats/metricbeat/current/directory-layout.html
[https_www.nginx.com_blog_monitoring-nginx]: https://www.nginx.com/blog/monitoring-nginx/
[https_www.tecmint.com_enable-nginx-status-page]: https://www.tecmint.com/enable-nginx-status-page/
[https_www.elastic.co_guide_en_beats_metricbeat_current_metricbeat-module-nginx.html]: https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-module-nginx.html
[https_www.elastic.co_guide_en_beats_filebeat_7.9_filebeat-installation-configuration.html]: https://www.elastic.co/guide/en/beats/filebeat/7.9/filebeat-installation-configuration.html
[https_www.elastic.co_cn_downloads_past-releases_filebeat-7-4-0]: https://www.elastic.co/cn/downloads/past-releases/filebeat-7-4-0
[https_www.elastic.co_cn_downloads_beats_filebeat]: https://www.elastic.co/cn/downloads/beats/filebeat
[https_www.elastic.co_guide_en_beats_filebeat_7.9_directory-layout.html]: https://www.elastic.co/guide/en/beats/filebeat/7.9/directory-layout.html
[https_www.elastic.co_guide_en_beats_filebeat_current_filebeat-module-nginx.html]: https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-module-nginx.html
[https_www.elastic.co_guide_en_kibana_7.9_dashboard.html]: https://www.elastic.co/guide/en/kibana/7.9/dashboard.html
[https_www.elastic.co_cn_blog_how-to-monitor-nginx-web-servers-with-the-elastic-stack]: https://www.elastic.co/cn/blog/how-to-monitor-nginx-web-servers-with-the-elastic-stack
[https_logz.io_blog_nginx-web-server-monitoring]: https://logz.io/blog/nginx-web-server-monitoring/