prometheus 监控之 nginx篇

怼烎@ 2022-05-08 01:20 861阅读 0赞

用Prometheus进行nginx的监控可以自动的对相关server\_name和upstream进行监控，你也可以自定义Prometheus的数据标签，实现对不同机房和不同项目的nginx进行监控。

###### 监控Nginx主要用到以下三个模块： ######

*  nginx-module-vts：Nginx virtual host traffic status module，Nginx的监控模块，能够提供JSON格式的数据产出。
 *  nginx-vts-exporter：Simple server that scrapes Nginx vts stats and exports them via HTTP for Prometheus consumption。主要用于收集Nginx的监控数据，并给Prometheus提供监控接口，默认端口号9913。
 *  Prometheus：监控Nginx-vts-exporter提供的Nginx数据，并存储在时序数据库中，可以使用PromQL对时序数据进行查询和聚合。

##### 1.nginx-module-vts模块的编译 #####

首先查看nginx安装了那些模块：

[root@xxx conf]#./sbin/nginx  -V

下载nginx-module-vts模块，并添加模块到nginx：

[xxx@xxx conf]# cd /usr/local/src
    [xxx@xxx conf]# git clone git://github.com/vozlt/nginx-module-vts.git
    [xxx@xxx conf]# ./configure --prefix=/usr/local/nginx --with-http_ssl_module  --add-module=//usr/local/src/nginx-module-vts
    
    [xxx@xxx conf]# make  ##编译 不要make install， 不然会覆盖

替换nginx二进制文件:

[xxx@xxx conf]# mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.bak
    [xxx@xxx conf]# cp ./objs/nginx /usr/local/nginx/sbin/
    [xxx@xxx conf]# pkill -9 nginx ## 关闭nginx
    [xxx@xxx conf]# /usr/local/nginx/sbin/nginx  ##	启动nginx

修改nginx.conf配置，实验安装是否成功：

http {
        ...
        vhost_traffic_status_zone;  
        vhost_traffic_status_filter_by_host on;
        ...
        server {
            ...   
            location /status {
                   vhost_traffic_status_display;
                   vhost_traffic_status_display_format html;
            }
    }

配置解析：  
1.1 打开vhost过滤：  
vhost\_traffic\_status\_filter\_by\_host on;  
开启此功能，在Nginx配置有多个server\_name的情况下，会根据不同的server\_name进行流量的统计，否则默认会把流量全部计算到第一个server\_name上。

1.2.在不想统计流量的server区域禁用vhost\_traffic\_status，配置示例：

server {
    ...
    vhost_traffic_status off;
    ...
    }

假如nginx没有规范配置server\_name或者无需进行监控的server上，那么建议在此vhost上禁用统计监控功能。否则会出现“127.0.0.1”，hostname等的域名监控信息。

打开浏览器访问ip/status:  
![在这里插入图片描述][70]

##### 2.安装nginx-vts-exporter #####

[xxx@xxx conf]# wget -O nginx-vts-exporter-0.5.zip https://github.com/hnlq715/nginx-vts-exporter/archive/v0.5.zip
    [xxx@xxx conf]# unzip nginx-vts-exporter-0.5.zip
    [xxx@xxx conf]# mv nginx-vts-exporter-0.5  /usr/local/prometheus/nginx-vts-exporter
    [xxx@xxx conf]# chmod +x /usr/local/prometheus/nginx-vts-exporter/bin/nginx-vts-exporter

使用supervisor进程管理工具启动nginx-vts-exporter(安装supervisor请参考：[CentOS7 supervisor安装、配置、实战][CentOS7 supervisor]):

[xxx@xxx conf]# yum install epel-release -y
    [xxx@xxx conf]# yum install supervisor -y
    [xxx@xxx conf]# tail -n 25 /etc/supervisord.conf 
    ……
    [include]
    files = supervisord.d/*.ini
    
    [program:nginx_exporter]
    command=/usr/local/prometheus/nginx-vts-exporter/bin/nginx-vts-exporter -nginx.scrape_uri=http://10.100.xx.xxx/status/format/json
    stdout_logfile=/tmp/prometheus/nginx-vts-exporter.log
    autostart=true
    autorestart=true
    startsecs=5
    priority=1
    user=root
    stopasgroup=true
    killasgroup=true
    
    [program:node_exporter]
    command=/usr/local/bin/node_exporter
    stdout_logfile=/tmp/prometheus/prometheus.log
    autostart=true
    autorestart=true
    startsecs=5
    priority=1
    user=root
    stopasgroup=true
    killasgroup=true
    ……
    [xxx@xxx conf]# chkconfig supervisord on
    [xxx@xxx conf]# service supervisord start
    [xxx@xxx conf]#  supervisorctl status
    nginx_exporter                   RUNNING   pid 28008, uptime 0:05:57
    node_exporter                    RUNNING   pid 28007, uptime 0:05:57

防火墙打开相应的端口：

[xxx@xxx conf]# vi /etc/sysconfig/iptables
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 9913 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 9100 -j ACCEPT
    [xxx@xxx conf]# service iptables restart

打开浏览器访问http://10.100.xx.xxx/9913:  
![在这里插入图片描述][70 1]

##### 3.配置prometheus 添加nginx监控 #####

修改prometheus配置（我的环境是使用consul动态的管理配置，请参考我的另一篇博文[prometheus配置文件动态管理][prometheus]）

[xxx@xxx conf]#  vi prometheus.yml  ##prometheus 主配置文件
    ……
    ##新增
    - job_name: 'nginx'
      file_sd_configs:
      - refresh_interval: 1m
        files:
        - ./conf.d/nginx*.json
    ……
    [xxx@xxx conf]# vim nginx-discovery.ctmpl  ## 创建nginx 自动发现模版文件 nginx-discovery.ctmpl 
    [
    {$ range tree "prometheus/nginx" $}
    {
    "targets": ["{$ .Value $}"],
    "labels": {
    "instance": "{$ .Key $}"
    }
    },
    {$ end $}
    {
    "targets": ["10.100.xxx.xxx:9090"],
    "labels": {
    "instance": "prometheus01"
    }
    }
    ] 
    [xxx@xxx conf]# vim consul-template.conf  ## consul 主配置文件
    ……
    ## 新增
    template {
    source = "/usr/local/prometheus/templates/nginx-discovery.ctmpl"
    destination = "/usr/local/prometheus/conf.d/nginx-discovery.json"
    command = ""
    backup = true
    command_timeout = "60s"
    left_delimiter = "{$"
    right_delimiter = "$}"
    wait {
    min = "2s"
    max = "20s"
    }
    }
    ……
    [xxx@xxx conf]#  curl  -XPOST localhost:9090/-/reload ## 重新加载prometheus
    [xxx@xxx conf]#  supervisorctl restart consul-template  ## 重新加载consul-template

配置consul 实现动态管理 监控nginx文件:  
![在这里插入图片描述][70 2]  
![在这里插入图片描述][70 3]

来看看利用consul-template 动态生成的nginx 监控配置文件：

[xxx@xxx conf]# cat nginx-discovery.json
    [
    
    {
    "targets": ["10.100.xx.xxx:9913"],
    "labels": {
    "instance": "pre-nginx_10.100.xx.xxx"
    }
    },
    
    {
    "targets": ["10.100.xx.xxx:9913"],
    "labels": {
    "instance": "pre-nginx_10.100.xx.xxx"
    }
    },
    
    {
    "targets": ["10.100.xx.xxx:9090"],
    "labels": {
    "instance": "prometheus01"
    }
    }
    ]

prometheus监控界面：

![在这里插入图片描述][70 4]

##### 4. grafana 画图（Nginx VTS Stats）： #####

输入代码2949  
![在这里插入图片描述][70 5]  
![70 6][]  
大功告成！！

[70]: /images/20220508/17aa258efb0a42de8cc3c09c9a2648c1.png
[CentOS7 supervisor]: https://mp.csdn.net/mdeditor/82225289#
[70 1]: /images/20220508/ba20bbdbc4a34fb4a4020e17eea9b345.png
[prometheus]: https://mp.csdn.net/mdeditor/82118008#
[70 2]: /images/20220508/c8f9f39d84974cbda5c992058067c242.png
[70 3]: /images/20220508/a5f4e7c882ad459985187e2703fd1a0e.png
[70 4]: /images/20220508/b025a2b629434710ba9046c5196afeb1.png
[70 5]: /images/20220508/d9156b95754348eba38f881887ae454f.png
[70 6]: /images/20220508/443de36e32924dfdb3859c83e6ac7627.png