Prometheus Exporter基础知识#

柔情只为你懂 2024-03-17 21:26 43阅读 0赞

### **Prometheus Exporter的概念、工作原理**[\#][Link 1] ###

Prometheus Exporter是一个用来收集和暴露指标数据的工具，通过与Prometheus监控系统一起使用。它的结构包括两个组件：Collector和Exporter：

*  Collector：用于从目标应用程序或系统收集指标并将其转化为Prometheus可识别的格式。收集器可以使用Prometheus客户端库来生成指标，并公开HTTP/metrics以便Prometheus Server进行定期调用和拉取指标。
 *  Exporter：它会从Collector获取指标数据，并将其转成为Prometheus可读格式。

Prometheus Server：它是一个用于存储和查询指标数据的中心化实践序列数据库服务器。Prometheus Server使用scrape\_configs的YAML配置文件，其中指定了每个Exporter的配置信息，包括URL、抓取间隔等。

### **Prometheus 指标格式及其应用**[\#][Link 2] ###

Prometheus使用一种简单的文本格式来表示指标数据，即“度量名称\{标签名="标签值", ...\} 值 时间戳”这样的格式。例如：

http_request_duration_seconds_bucket{le="0.2"} 150 
    http_request_duration_seconds_bucket{le="0.5"} 200

其中，”http\_request\_duration\_seconds\_bucket”是度量名称，”le”是标签名，”0.2”、”0.5”是标签值， 150、200是相应的值，时间戳则通常省略不写。

Prometheus指标格式的应用包括：

1.收集指标数据：在Prometheus Exporter中，我们通过Collector来收集指标数据，并将其转换为合适的指标格式。

2.暴露指标数据：Prometheus Exporter会把采集到的指标数据暴露给Prometheus，使得Prometheus能够对其进行监控和分析。

3.查询指标数据：在Prometheus中，我们可以使用PromQL查询语言对指标数据查询和分析，比如计算指标的平均值、最大值、最小值等等。

4.可视化指标：通过Grafana等可视化工具，我们可以将Prometheus收集到的指标数据进行图表展示和监控报警等操作。

总之，Prometheus指标格式是Prometheus监控系统中非常重要的一个概念，它是实现收集、查询、暴露、查询和可视化数据的基础。

### **Prometheus四种指标类型**[\#][Link 3] ###

Prometheus定义了四种主要的指标类型：

*  **Counter（计数器）**：用于表示单调递增的指标，例如请求数等。Counter在每次观测时会增加它所代表的值（通常是一个整数），但不会减少或者重置。
 *  **Gauge（仪表盘）**：用于表示可变化的度量值，例如CPU利用率、内存用量等。Gauge可以增加、减少或重置，代表着当前的状态。
 *  **Histogram（直方图）**：用于表示数据样本的分布情况，例如请求延迟等。Histogram将数据按照桶（bucket）进行划分，并对每个桶内的样本计算出一些统计信息，如样本数量、总和、平均值等。
 *  **Summary（摘要）**：类似于Histogram，也用于表示数据样本的分布情况，但同时展示更多的统计信息，如样本数量、总和、平均值、上分位数、下分位数等。

这些指标类型可以组合使用，以便更好的描述系统运行状态和性能指标。例如使用Counter来记录某个API的请求数，使用Gauge来记录内存使用量，使用Histogram来记录请求延迟分布情况。使用Summary来记录响应时间分布情况。在实际应用中应根据需要选择合适的指标类型来表示监控数据。

#### Exporter Counter 示例[\#][Link 4] ####

import (
     "net/http"
    
     "github.com/prometheus/client_golang/prometheus"
     "github.com/prometheus/client_golang/prometheus/promhttp"
    )
    
    func main() {
     // 创建一个Counter指标
     counterMetric := prometheus.NewCounter(prometheus.CounterOpts{
      Name: "example_counter", // 指标名称
      Help: "An example counter metric.", // 指标帮助信息
     })
    
     // 注册指标
     prometheus.MustRegister(counterMetric)
    
     // 增加指标值
     counterMetric.Inc()
    
     // 创建一个HTTP处理器来暴露指标
     http.Handle("/metrics", promhttp.Handler())
    
     // 启动Web服务器
     http.ListenAndServe(":8080", nil)
    }

#### Exporter Gauge示例[\#][Link 5] ####

import (
     "net/http"
    
     "github.com/prometheus/client_golang/prometheus"
     "github.com/prometheus/client_golang/prometheus/promhttp"
    )
    
    func main() {
     // 创建一个Gauge指标
     guageMetric := prometheus.NewGauge(prometheus.GaugeOpts{
      Name: "example_gauge", // 指标名称
      Help: "An example gauge metric.", // 指标帮助信息
     })
    
     // 注册指标
     prometheus.MustRegister(guageMetric)
    
     // 设置指标值
     guageMetric.Set(100)
    
     // 创建一个HTTP处理器来暴露指标
     http.Handle("/metrics", promhttp.Handler())
    
     // 启动Web服务器
     http.ListenAndServe(":8080", nil)
    }

#### Exporter Histogram示例[\#][Link 6] ####

import (
     "math/rand"
     "net/http"
     "time"
    
     "github.com/prometheus/client_golang/prometheus"
     "github.com/prometheus/client_golang/prometheus/promhttp"
    )
    
    func main() {
     // 创建一个Histogram指标
     histogramMetric := prometheus.NewHistogram(prometheus.HistogramOpts{
      Name:    "example_histogram", // 指标名称
      Help:    "An example histogram metric.", // 指标帮助信息
      Buckets: prometheus.LinearBuckets(0, 10, 10), // 设置桶宽度
     })
    
     // 注册指标
     prometheus.MustRegister(histogramMetric)
    
     // 定期更新指标值
     go func() {
      for {
       time.Sleep(time.Second)
       histogramMetric.Observe(rand.Float64() * 100)
      }
     }()
    
     // 创建一个HTTP处理器来暴露指标
     http.Handle("/metrics", promhttp.Handler())
    
     // 启动Web服务器
     http.ListenAndServe(":8080", nil)
    }

#### Exporter Summary示例[\#][Link 7] ####

import (
     "math/rand"
     "net/http"
     "time"
    
     "github.com/prometheus/client_golang/prometheus"
     "github.com/prometheus/client_golang/prometheus/promhttp"
    )
    
    func main() {
     // 创建一个Summary指标
     summaryMetric := prometheus.NewSummary(prometheus.SummaryOpts{
      Name:       "example_summary", // 指标名称
      Help:       "An example summary metric.", // 指标帮助信息
      Objectives: map[float64]float64{0.5: 0.05, 0.9: 0.01, 0.99: 0.001}, // 设置分位数和偏差
     })
    
     // 注册指标
     prometheus.MustRegister(summaryMetric)
    
     // 定期更新指标值
     go func() {
      for {
       time.Sleep(time.Second)
       summaryMetric.Observe(rand.Float64() * 100)
      }
     }()
    
     // 创建一个HTTP处理器来暴露指标
     http.Handle("/metrics", promhttp.Handler())
    
     // 启动Web服务器
     http.ListenAndServe(":8080", nil)
    }

## **配置Exporter 开发环境**[\#][Link 8] ##

### **在kubernetes中安装Prometheus**[\#][Link 9] ###

*  创建一个prometheus-configmap.yaml文件，用于定义Prometheus配置

apiVersion: v1
    kind: ConfigMap
    metadata:
      name: prometheus-config
    data:
      prometheus.yml: |
        global:
          scrape_interval: 15s
        scrape_configs:
          - job_name: 'pushgateway'
            static_configs:
              - targets: ['pushgateway:9091']

该配置为Prometheus提供了一些基本选项，并定义了pushgateway的作业。pushgateway用于从pushgateway实例中收集指标数据。

*  使用kubectl apply命令创建Prometheus ConfigMap

kubectl apply -f prometheus-configmap.yaml

*  创建一个prometheus-deployment.yaml文件，用于定义Prometheus Deployment的配置

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: prometheus
    spec:
      selector:
        matchLabels:
          app: prometheus
      replicas: 1
      template:
        metadata:
          labels:
            app: prometheus
        spec:
          containers:
          - name: prometheus
            image: prom/prometheus:v2.32.0
            args:
            - "--config.file=/etc/prometheus/prometheus.yml"
            ports:
            - containerPort: 9090
            volumeMounts:  # 挂载ConfigMap中的prometheus.yml配置文件
            - name: config-volume
              mountPath: /etc/prometheus
          volumes:
          - name: config-volume
            configMap:
              name: prometheus-config  #引用第一步创建的prometheus-config ConfigMap

*  创建一个Service对象，在kubernetes集群内部和外部暴露Prometheus服务的访问端点

apiVersion: v1
    kind: Service
    metadata:
      name: prometheus
    spec:
      type: NodePort
      ports:
      - port: 9090
        targetPort: 9090 
      selector:
        app: prometheus

*  访问Prometheus UI

kubectl apply get svc

**http://nodeIP:端口/graph**

[![9d7485d5e24431ff44ac679cb9d556d1.png][]][9d7485d5e24431ff44ac679cb9d556d1.png 1]

### 安装PushGateway[\#][Link 10] ###

*  创建一个pushgateway-deployment.yaml文件，用于定义PushGateway Deployment的配置

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: pushgateway
    spec:
      selector:
        matchLabels:
          app: pushgateway
      replicas: 1
      template:
        metadata:
          labels:
            app: pushgateway
        spec:
          containers:
          - name: pushgateway
            image: prom/pushgateway:v1.5.1
            ports:
            - containerPort: 9091
            args:
            - "--web.listen-address=:9091"

*  使用kubectl apply命令创建PushGateway Deployment

kubectl apply -f pushgateway-deployment.yaml

*  创建一个pushgateway-service.yaml文件，用于定义pushgateway service配置

apiVersion: v1
    kind: Service
    metadata:
      name: pushgateway
    spec:
      type: NodePort
      ports:
      - port: 9091
        targetPort: 9091
      selector:
        app: pushgateway

*  使用kubectl apply命令创建PushGateway Service

kubectl apply -f pushgateway-service.yaml

*  在Prometheus配置文件中添加Pushgateway作为目录，以便Promethazine可以获取Pushgateway中的指标数据(在第一步prometheus-configmap.yaml中已加过如下配置、此步跳过)。

scrape_configs:
      - job_name: 'pushgateway'
        static_configs:
          - targets: ['pushgateway:9091']

*  访问PushGateway

[![08a33a4133b73339d71c81b95b16fc56.png][]][08a33a4133b73339d71c81b95b16fc56.png 1]

*  Prometheus UI中查看pushgateway

[![fcb5e24b5a86efdc4585e133f254f595.png][]][fcb5e24b5a86efdc4585e133f254f595.png 1]

### **安装Grafana并连接Prometheus**[\#][Link 11] ###

*  创建grafana.yaml用于定于grafana的配置

kind: Deployment
    metadata:
      name: grafana-dp
    spec:
      selector:
        matchLabels:
          app: grafana-dp
      replicas: 1
      template:
        metadata:
          labels:
            app: grafana-dp
        spec:
          containers:
            - name: grafana
              image: grafana/grafana
              imagePullPolicy: IfNotPresent
              ports:
              - containerPort: 3000
    
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: grafana-svc
    spec:
      type: NodePort
      ports:
        - port: 3000
          targetPort: 3000
      selector:
        app: grafana-dp

*  创建grafana deployment和service

kubectl apply -f grafana.yaml
    kubectl get svc

**用户名admin密码admin**

[![45860b8e22e0c1250aa26a6057051e20.png][]][45860b8e22e0c1250aa26a6057051e20.png 1]

*  添加Prometheus数据源

[![d7a94f8ff05ec0fc14cb2e678ac8fc9d.png][]][d7a94f8ff05ec0fc14cb2e678ac8fc9d.png 1]

[![99ee8a16656b586d0bc2d1cf9c845a36.png][]][99ee8a16656b586d0bc2d1cf9c845a36.png 1]

[![11221f8a7b4efc1d618035d269972b26.png][]][11221f8a7b4efc1d618035d269972b26.png 1]

## **监测Go/Python编写的HTTP Server**[\#][Link 12] ##

https://github.com/prometheus/client\_golang

https://prometheus.io/docs/instrumenting/clientlibs/

https://prometheus.io/docs/tutorials/instrumenting\_http\_server\_in\_go/

### **使用client\_golang库监测HTTP server**[\#][Link 13] ###

package main
    
    import (
       "fmt"
       "net/http"
    
       "github.com/prometheus/client_golang/prometheus"
       "github.com/prometheus/client_golang/prometheus/promhttp"
    )
    
    var pingCounter = prometheus.NewCounter(
       prometheus.CounterOpts{
           Name: "ping_request_count",
           Help: "No of request handled by Ping handler",
       },
    )
    
    func ping(w http.ResponseWriter, req *http.Request) {
       pingCounter.Inc()
       fmt.Fprintf(w, "pong")
    }
    
    func main() {
       prometheus.MustRegister(pingCounter)
    
       http.HandleFunc("/ping", ping)
       http.Handle("/metrics", promhttp.Handler())
       http.ListenAndServe(":8090", nil)
    }

*  访问metrics接口

[![5f8127c006d8da4d757b321dd39e4130.png][]][5f8127c006d8da4d757b321dd39e4130.png 1]

### **使用client\_python库监测HTTP server**[\#][Link 14] ###

**https://github.com/prometheus/client\_python**

from flask import Flask
    from werkzeug.serving import run_simple
    from werkzeug.middleware.dispatcher import DispatcherMiddleware
    from prometheus_client import make_wsgi_app
    
    app = Flask(__name__)
    app.debug = True
    app.wsgi_app = DispatcherMiddleware(app.wsgi_app, {
        '/metrics': make_wsgi_app()
    })
    
    @app.route('/')
    def hello_world():
        return 'Hello World!'
    
    if __name__ == '__main__':
        run_simple('localhost', 5000, app, use_reloader=True, use_debugger=True, use_evalex=True)

*  requirements.txt

Flask==2.3.2
    uWSGI==2.0.21
    prometheus-client==0.17.0

*  启动Web应用程序

pip install uwsgi
    uwsgi --http 127.0.0.1:8000 --wsgi-file main.py --callable app

*  访问metrics接口

[![46784299f61c78124d23fb20f47dc3af.png][]][46784299f61c78124d23fb20f47dc3af.png 1]

## **Nginx Exporter开发**[\#][Link 15] ##

### **Nginx status简介**[\#][Link 16] ###

http\_stub\_status\_module时nginx一个模块，它提供了一些简单的指标和状态信息，这些信息可用于监控nginx服务器的监控状态和性能。要启用该模块，需要在nginx配置文件中添加以下内容：

location /nginx_status {
      stub_status on;
      allow 127.0.0.1;
      deny all;
    }

此配置将使用nginx在nginx\_status上公开stub\_status信息。这些信息只允许本地主机（即127.0.0.1）上访问，并拒绝来自其他主机上的访问请求。然后，您可以使用curl等工具向nginx服务器发送HTTP GET请求，以获取当前的状态信息。例如，以下命令将获取位于localhost上的nginx服务器的状态信息：

curl http://localhost/nginx_status

此命令将返回像这样的响应：

Active connections: 1
    server accepts handled requests
    10 10 10
    Reading: 0 Writing: 1 Waiting: 0

*  Active connectons：当前活跃的连接数。
 *  Server Accepts handled requests: 表示从启动到现在一共处理过的连接数，其中accepts表示接收的连接数，handled表示已经处理完成的连接数（可能包括已经关闭的连接数），requests表示已经处理完成的请求数；
 *  Reading: 正在读取客户端的请求的连接数；
 *  Writing：正在向客户端发送响应的连接数；
 *  Waiting：正在等待请求处理的连接数。

除了以上信息，可以通过第三方模块来扩展stub\_status模块的功能，例如：ngx\_http\_substitutions\_filter\_module、lua-nginx-module。

### **Nginx Exporter开发**[\#][Link 15] ###

项目源码：https://gitee.com/KubeSec/nginx-exporter

*  /metrics

[![1058bdaf1e07a27db743cfbf8f9d5ac3.png][]][1058bdaf1e07a27db743cfbf8f9d5ac3.png 1]

### **Exporter部署和测试**[\#][Link 17] ###

cd nginx-exporter
    docker build -t nginx-exporter:latest .
    kubectl apply -f manifests/install.yaml

*  访问/metrics

http://nodeIP:nodePort/metrics

*  在Prometheus中配置我们的nginx-exporter

scrape_configs:
          - job_name: 'nginx-exporter'
            static_configs:
              - targets: ['nginx-exporter-svc:2113']

*  在Prometheus UI中查看我的 exporter

[![bb6360abb66d8e14ecc5e4eae5c13746.png][]][bb6360abb66d8e14ecc5e4eae5c13746.png 1]

*  补充： memcached\_exporter\_example项目源码https://gitee.com/KubeSec/memcached\_exporter

## **使用Grafana可视化指标**[\#][Link 18] ##

### **Grafana图表类型**[\#][Link 19] ###

*  **Time Series：**时序数据，用于显示时间序列数据。可以使用折线图、面截图、柱状图等形式来呈现。
 *  **Stat:** 可以用于显示数据的统计信息，例如平均值、总和、最大值、最小值等。
 *  **Table:** 用以表格形式显示数据。可以将数据按行或列进行排序，并支持筛选和聚合操作。

### **PromQL 查询和分析指标数据**[\#][Link 20] ###

PromQL（Prometheus Query Language）是由Prometheus开发的一种灵活的查询语言，用于收集的时间序列中提取、聚合和分析Metric。

up: 返回当前所有Exporter的状态， 1表示健康正在运行，0表示不可访问或异常。sum(nginx\_status\_requests\{job="nginx-exporter", instance="nginx-exporter-svc:2113"\})要检索Nginx服务器中当前链接的数量。

### **创建Nginx Exporter Dashboard**[\#][Link 21] ###

Grafana导入manifests/nginx-exporter-dashboard.json

[![af4a782aa9a06de64212d5ff69a87b03.png][]][af4a782aa9a06de64212d5ff69a87b03.png 1]

[Link 1]: https://www.cnblogs.com/0x00000/p/17557743.html#prometheus-exporter%E7%9A%84%E6%A6%82%E5%BF%B5%E3%80%81%E5%B7%A5%E4%BD%9C%E5%8E%9F%E7%90%86
[Link 2]: https://www.cnblogs.com/0x00000/p/17557743.html#prometheus-%E6%8C%87%E6%A0%87%E6%A0%BC%E5%BC%8F%E5%8F%8A%E5%85%B6%E5%BA%94%E7%94%A8
[Link 3]: https://www.cnblogs.com/0x00000/p/17557743.html#prometheus%E5%9B%9B%E7%A7%8D%E6%8C%87%E6%A0%87%E7%B1%BB%E5%9E%8B
[Link 4]: https://www.cnblogs.com/0x00000/p/17557743.html#exporter-counter-%E7%A4%BA%E4%BE%8B
[Link 5]: https://www.cnblogs.com/0x00000/p/17557743.html#exporter-gauge%E7%A4%BA%E4%BE%8B
[Link 6]: https://www.cnblogs.com/0x00000/p/17557743.html#exporter%C2%A0histogram%E7%A4%BA%E4%BE%8B
[Link 7]: https://www.cnblogs.com/0x00000/p/17557743.html#exporter-summary%E7%A4%BA%E4%BE%8B
[Link 8]: https://www.cnblogs.com/0x00000/p/17557743.html#%E9%85%8D%E7%BD%AEexporter%C2%A0%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83
[Link 9]: https://www.cnblogs.com/0x00000/p/17557743.html#%E5%9C%A8kubernetes%E4%B8%AD%E5%AE%89%E8%A3%85prometheus
[9d7485d5e24431ff44ac679cb9d556d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/d2387cbd781346288156073d13a3c5ea.png
[9d7485d5e24431ff44ac679cb9d556d1.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716130808479-689552180.png
[Link 10]: https://www.cnblogs.com/0x00000/p/17557743.html#%E5%AE%89%E8%A3%85pushgateway
[08a33a4133b73339d71c81b95b16fc56.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/018d482092ee4b2bad25a4429ff5cb30.png
[08a33a4133b73339d71c81b95b16fc56.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131010567-1772475009.png
[fcb5e24b5a86efdc4585e133f254f595.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/1bb1887f212f4f55b26022895319c42a.png
[fcb5e24b5a86efdc4585e133f254f595.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131021962-908928711.png
[Link 11]: https://www.cnblogs.com/0x00000/p/17557743.html#%E5%AE%89%E8%A3%85grafana%E5%B9%B6%E8%BF%9E%E6%8E%A5prometheus
[45860b8e22e0c1250aa26a6057051e20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/1e2969ab286a40c8a7b6b42f403a3f7d.png
[45860b8e22e0c1250aa26a6057051e20.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131118000-1488629484.png
[d7a94f8ff05ec0fc14cb2e678ac8fc9d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/7b4cecc0ace14a2f9eb3016ac6e4a509.png
[d7a94f8ff05ec0fc14cb2e678ac8fc9d.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131130271-710709304.png
[99ee8a16656b586d0bc2d1cf9c845a36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/42584fac082f40dcab91ff469f156411.png
[99ee8a16656b586d0bc2d1cf9c845a36.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131136214-966994765.png
[11221f8a7b4efc1d618035d269972b26.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b6f807e070f54ebfae77253da6086e07.png
[11221f8a7b4efc1d618035d269972b26.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131140782-395053193.png
[Link 12]: https://www.cnblogs.com/0x00000/p/17557743.html#%E7%9B%91%E6%B5%8Bgo/python%E7%BC%96%E5%86%99%E7%9A%84http-server
[Link 13]: https://www.cnblogs.com/0x00000/p/17557743.html#%E4%BD%BF%E7%94%A8client_golang%E5%BA%93%E7%9B%91%E6%B5%8Bhttp-server
[5f8127c006d8da4d757b321dd39e4130.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/482f44bee3404286a064ef08f6518b91.png
[5f8127c006d8da4d757b321dd39e4130.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131234033-1703710987.png
[Link 14]: https://www.cnblogs.com/0x00000/p/17557743.html#%E4%BD%BF%E7%94%A8client_python%E5%BA%93%E7%9B%91%E6%B5%8Bhttp%C2%A0server
[46784299f61c78124d23fb20f47dc3af.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f2b4f5f08b1e4e43af088375ee4e9eb4.png
[46784299f61c78124d23fb20f47dc3af.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131359373-314869344.png
[Link 15]: https://www.cnblogs.com/0x00000/p/17557743.html#nginx-exporter%E5%BC%80%E5%8F%91
[Link 16]: https://www.cnblogs.com/0x00000/p/17557743.html#nginx-status%E7%AE%80%E4%BB%8B
[1058bdaf1e07a27db743cfbf8f9d5ac3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/0b7f1db7f5204e768e869ca0ef03924b.png
[1058bdaf1e07a27db743cfbf8f9d5ac3.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131604316-434567777.png
[Link 17]: https://www.cnblogs.com/0x00000/p/17557743.html#exporter%E9%83%A8%E7%BD%B2%E5%92%8C%E6%B5%8B%E8%AF%95
[bb6360abb66d8e14ecc5e4eae5c13746.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/ec228cac7eaa410896a782ffc4d5e765.png
[bb6360abb66d8e14ecc5e4eae5c13746.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131701016-655087014.png
[Link 18]: https://www.cnblogs.com/0x00000/p/17557743.html#%E4%BD%BF%E7%94%A8grafana%E5%8F%AF%E8%A7%86%E5%8C%96%E6%8C%87%E6%A0%87
[Link 19]: https://www.cnblogs.com/0x00000/p/17557743.html#grafana%E5%9B%BE%E8%A1%A8%E7%B1%BB%E5%9E%8B
[Link 20]: https://www.cnblogs.com/0x00000/p/17557743.html#%C2%A0promql-%E6%9F%A5%E8%AF%A2%E5%92%8C%E5%88%86%E6%9E%90%E6%8C%87%E6%A0%87%E6%95%B0%E6%8D%AE
[Link 21]: https://www.cnblogs.com/0x00000/p/17557743.html#%E5%88%9B%E5%BB%BAnginx%C2%A0exporter-dashboard
[af4a782aa9a06de64212d5ff69a87b03.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/54dda3198bee44b18dae41825f51a24e.png
[af4a782aa9a06de64212d5ff69a87b03.png 1]: https://img2023.cnblogs.com/blog/1011251/202307/1011251-20230716131757734-678632620.png