开源监控系统Prometheus入门操作介绍

淩亂°似流年 2022-02-17 02:50 569阅读 0赞

本文是一个“Hello World”风格的教程，演示了如何在简单的示例设置中安装，配置和使用Prometheus。您将在本地下载并运行Prometheus，然后将其自己看做一个应用程序来进行监控，同时使用Node Exporter采集主机数据。最后通过仪表盘来使用收集的时间序列数据。

## 安装 ##

为您的平台[下载最新版本的Prometheus][Prometheus]，然后解压缩并运行它：

$ wget https://github.com/prometheus/prometheus/releases/download/v2.9.1/prometheus-2.9.1.linux-amd64.tar.gz
    $ tar xvfz prometheus-2.9.1.linux-amd64.tar.gz

## 采集应用数据 ##

Prometheus通过在目标应用上的HTTP端点/metrics来收集受监控目标的指标。由于Prometheus也以同样的方式公开数据，因此也可以抓取它的指标和监控自身的健康状况。

虽然Prometheus服务器收集有关自身的数据在实践中并不是很有用，但它是一个很好的示例。

### 配置 ###

可以看到Prometheus的配置文件prometheus.yml：

global:
      scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
      evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
      # scrape_timeout is set to the global default (10s).
    
    # Alertmanager configuration
    alerting:
      alertmanagers:
      - static_configs:
        - targets:
          # - alertmanager:9093
    
    # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
    rule_files:
      # - "first_rules.yml"
      # - "second_rules.yml"
    
    # A scrape configuration containing exactly one endpoint to scrape:
    # Here it's Prometheus itself.
    scrape_configs:
      # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
      - job_name: 'prometheus'
    
        # metrics_path defaults to '/metrics'
        # scheme defaults to 'http'.
    
        static_configs:
        - targets: ['localhost:9090']

这里设置了Prometheus采集本地9090端口服务。

### 启动 ###

./prometheus --config.file=prometheus.yml

正常的情况下，你可以看到以下输出内容：

level=info ts=2019-04-18T03:24:43.863Z caller=main.go:285 msg="no time or size retention was set so using the default time retention" duration=15d
    level=info ts=2019-04-18T03:24:43.863Z caller=main.go:321 msg="Starting Prometheus" version="(version=2.9.1, branch=HEAD, revision=ad71f2785fc321092948e33706b04f3150eee44f)"
    level=info ts=2019-04-18T03:24:43.863Z caller=main.go:322 build_context="(go=go1.12.4, user=root@09f919068df4, date=20190416-17:50:04)"
    level=info ts=2019-04-18T03:24:43.863Z caller=main.go:323 host_details="(Linux 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 localhost.localdomain (none))"
    level=info ts=2019-04-18T03:24:43.863Z caller=main.go:324 fd_limits="(soft=1024, hard=4096)"
    level=info ts=2019-04-18T03:24:43.863Z caller=main.go:325 vm_limits="(soft=unlimited, hard=unlimited)"
    level=info ts=2019-04-18T03:24:43.864Z caller=main.go:640 msg="Starting TSDB ..."
    level=info ts=2019-04-18T03:24:43.874Z caller=web.go:416 component=web msg="Start listening for connections" address=0.0.0.0:9090
    level=info ts=2019-04-18T03:24:43.876Z caller=main.go:655 msg="TSDB started"
    level=info ts=2019-04-18T03:24:43.876Z caller=main.go:724 msg="Loading configuration file" filename=prometheus.yml
    level=info ts=2019-04-18T03:24:43.877Z caller=main.go:751 msg="Completed loading of configuration file" filename=prometheus.yml
    level=info ts=2019-04-18T03:24:43.877Z caller=main.go:609 msg="Server is ready to receive web requests."

这时Prometheus应该已经启动。您还应该通过localhost:9090浏览到自己的状态页面。过几秒钟后就会从自己的HTTP指标端点收集到有关数据。

您还可以通过浏览其指标端点来验证Prometheus是否正在提供有关自身的指标： localhost:9090/metrics

## 使用Node Exporter采集主机数据 ##

Exporter的作用是暴露已有的第三方服务的 metrics 给 Prometheus。Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可获取到需要采集的监控数据。

从上面的描述中可以看出Exporter可以是一个相对开放的概念，其可以是一个独立运行的程序独立于监控目标以外，也可以是直接内置在监控目标中。只要能够向Prometheus提供标准格式的监控样本数据即可。

这里为了能够采集到主机的运行指标如CPU, 内存，磁盘等信息。我们可以使用[Node Exporter][]。

### 安装 ###

$ wget https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gz
    $ tar xvfz node_exporter-0.17.0.linux-amd64.tar.gz

### 运行 ###

$ cd node_exporter-0.17.0.linux-amd64
     $ ./node_exporter

看到如下输出：

INFO[0000] Starting node_exporter (version=0.17.0, branch=HEAD, revision=f6f6194a436b9a63d0439abc585c76b19a206b21)  source="node_exporter.go:82"
    INFO[0000] Build context (go=go1.11.2, user=root@322511e06ced, date=20181130-15:51:33)  source="node_exporter.go:83"
    INFO[0000] Enabled collectors:                           source="node_exporter.go:90"
    INFO[0000]  - arp                                        source="node_exporter.go:97"
    INFO[0000]  - bcache                                     source="node_exporter.go:97"
    INFO[0000]  - bonding                                    source="node_exporter.go:97"
    INFO[0000]  - conntrack                                  source="node_exporter.go:97"
    INFO[0000]  - cpu                                        source="node_exporter.go:97"
    INFO[0000]  - diskstats                                  source="node_exporter.go:97"
    INFO[0000]  - edac                                       source="node_exporter.go:97"
    INFO[0000]  - entropy                                    source="node_exporter.go:97"
    INFO[0000]  - filefd                                     source="node_exporter.go:97"
    INFO[0000]  - filesystem                                 source="node_exporter.go:97"
    INFO[0000]  - hwmon                                      source="node_exporter.go:97"
    INFO[0000]  - infiniband                                 source="node_exporter.go:97"
    INFO[0000]  - ipvs                                       source="node_exporter.go:97"
    INFO[0000]  - loadavg                                    source="node_exporter.go:97"
    INFO[0000]  - mdadm                                      source="node_exporter.go:97"
    INFO[0000]  - meminfo                                    source="node_exporter.go:97"
    INFO[0000]  - netclass                                   source="node_exporter.go:97"
    INFO[0000]  - netdev                                     source="node_exporter.go:97"
    INFO[0000]  - netstat                                    source="node_exporter.go:97"
    INFO[0000]  - nfs                                        source="node_exporter.go:97"
    INFO[0000]  - nfsd                                       source="node_exporter.go:97"
    INFO[0000]  - sockstat                                   source="node_exporter.go:97"
    INFO[0000]  - stat                                       source="node_exporter.go:97"
    INFO[0000]  - textfile                                   source="node_exporter.go:97"
    INFO[0000]  - time                                       source="node_exporter.go:97"
    INFO[0000]  - timex                                      source="node_exporter.go:97"
    INFO[0000]  - uname                                      source="node_exporter.go:97"
    INFO[0000]  - vmstat                                     source="node_exporter.go:97"
    INFO[0000]  - xfs                                        source="node_exporter.go:97"
    INFO[0000]  - zfs                                        source="node_exporter.go:97"
    INFO[0000] Listening on :9100                            source="node_exporter.go:111"

代表已启动成功，可通过9100端口访问。

### 从Node Exporter收集监控数据 ###

为了能够让Prometheus Server能够从当前node exporter获取到监控数据，这里需要修改Prometheus配置文件。编辑prometheus.yml并在scrape\_configs节点下添加以下内容:

scrape_configs:
      # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
      - job_name: 'prometheus'
    
        # metrics_path defaults to '/metrics'
        # scheme defaults to 'http'.
    
        static_configs:
        - targets: ['localhost:9090']
      - job_name: 'node'
    
        # metrics_path defaults to '/metrics'
        # scheme defaults to 'http'.
    
        static_configs:
        - targets: ['localhost:9100']

重新启动Prometheus Server

访问http://localhost:9090，进入到Prometheus Server。输入“up”并且点击执行按钮以后，可以看到如下结果：  
![Prometheus UI][]  
其中“1”表示正常，反之“0”则为异常。

## 集成Grafana ##

第三方的可视化工具Grafana是一个开源的可视化平台，并且提供了对Prometheus的完整支持。

### 下载安装 ###

官网下载地址：[Grafana][]

根据自己的系统版本和配置，下载对应的包。3000为Grafana的默认侦听端口，启动后打开浏览器，输入IP+端口进行访问。

系统默认用户名和密码为admin/admin，第一次登陆系统会要求修改密码。

### 添加数据源 ###

首先是添加数据源，这里选择Prometheus作为默认的数据源，如下图所示，指定数据源类型为Prometheus并且设置Prometheus的访问地址即可，在配置正确的情况下点击“Save & Test”按钮，会提示连接成功的信息：  
![添加数据源][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9wZXRlcndhbmdoYW8uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]

### 创建DashBoard ###

创建好数据源之后，就需要创建DashBoard（仪表盘），可以自定义，也可以导入你需要的仪表盘，官方提供了很多的可选仪表盘。

这里我们选择官方提供的Prometheus 2.0 Stats。  
![创建仪表盘][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9wZXRlcndhbmdoYW8uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]

### 展示仪表盘 ###

Grafana中所有的Dashboard通过JSON进行共享，下载并且导入这些JSON文件，就可以直接使用这些已经定义好的Dashboard：  
![仪表盘样式][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9wZXRlcndhbmdoYW8uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]  
可以在Explore的“Metrics”选项下通过PromQL查询需要可视化的数据，比如输入指标node\_memory\_MemFree\_bytes查看系统可用内存：  
![PromQL查询][PromQL]

[Prometheus]: https://prometheus.io/download/
[Node Exporter]: https://prometheus.io/download/#node_exporter
[Prometheus UI]: /images/20220217/f1315916018d42428e7262042181133b.png
[Grafana]: https://grafana.com/grafana/download
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9wZXRlcndhbmdoYW8uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: /images/20220217/7ab5cb30a8ba48db8b17e549f5e01297.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9wZXRlcndhbmdoYW8uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]: /images/20220217/9426ef5f4dc04ab089365f1835f7a19d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9wZXRlcndhbmdoYW8uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]: /images/20220217/ed48c839eb954741905fcb155c01fcb3.png
[PromQL]: /images/20220217/5f60df217c4743fc9cd3846175ca0fb0.png