Prometheus + Grafana 简介

蔚落 2023-03-04 10:25 1阅读 0赞

参考文章：[Prometheus][]

*  [prometheus中文文档][prometheus]
 *  [Prometheus官方网站][Prometheus 1]
 *  [Prometheus GitHub][]

# 一. Prometheus  #

## 1.1 什么是Prometheus? ##

> Prometheus 是一个开源的服务监控系统和时间序列数据库。  
> Prometheus是一款开源的监控 + 时序数据库 + 报警软件，由SoundCloud公司开发的。目前在CNCF基金会托管，并已成功孵化。  
> Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。  
> 2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。  
> Prometheus目前在开源社区相当活跃。  
> Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。

## 1.2 Prometheus的特点 ##

>  *  多维度数据模型。
>  *  灵活的查询语言。
>  *  不依赖分布式存储，单个服务器节点是自主的。
>  *  通过基于HTTP的pull方式采集时序数据。
>  *  可以通过中间网关进行时序列数据推送。
>  *  通过服务发现或者静态配置来发现目标服务对象。
>  *  支持多种多样的图表和界面展示，比如Grafana等。
>  *  \--------
>  *  高维度数据模型
>  *  自定义查询语言
>  *  可视化数据展示
>  *  高效的存储策略
>  *  易于运维
>  *  提供各种客户端开发库
>  *  警告和报警
>  *  数据导出

## 1.3 基本原理 ##

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。

## 1.4 服务过程 ##

>  *  Prometheus Daemon负责定时去目标上抓取metrics(指标)数据，每个抓取目标需要暴露一个http服务的接口给它定时抓取。Prometheus支持通过配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目标。Prometheus采用PULL的方式进行监控，即服务器可以直接通过目标PULL数据或者间接地通过中间网关来Push数据。
>  *  Prometheus在本地存储抓取的所有数据，并通过一定规则进行清理和整理数据，并把得到的结果存储到新的时间序列中。
>  *  Prometheus通过PromQL和其他API可视化地展示收集的数据。Prometheus支持很多方式的图表可视化，例如Grafana、自带的Promdash以及自身提供的模版引擎等等。Prometheus还提供HTTP API的查询方式，自定义所需要的输出。
>  *  PushGateway支持Client主动推送metrics到PushGateway，而Prometheus只是定时去Gateway上抓取数据。
>  *  Alertmanager是独立于Prometheus的一个组件，可以支持Prometheus的查询语句，提供十分灵活的报警方式。

## 1.5 三大套件 ##

>  *  Server 主要负责数据采集和存储，提供PromQL查询语言的支持。
>  *  Alertmanager 警告管理器，用来进行报警。
>  *  Push Gateway 支持临时性Job主动推送指标的中间网关。

## 1.6 架构图 ##

![082749\_47Dp\_5189.png][082749_47Dp_5189.png]

![format_png][]

![format_png 1][]

Prometheus 是由 SoundCloud 开源监控告警解决方案。

## prometheus ##

prometheus存储的是`时序数据`，即按相同时序(相同名称和标签)，以时间维度存储连续的数据的集合。

时序(`time series`)是由名字(`Metric`)以及一组key/value标签定义的，具有相同的名字以及标签属于相同时序。

>  *  metric名字：表示metric的功能，如`http_request_total`。时序的名字由 ASCII 字符，数字，下划线，以及冒号组成，它必须满足正则表达式 \[a-zA-Z\_:\]\[a-zA-Z0-9\_:\]\*, 其名字应该具有语义化，一般表示一个可以度量的指标，例如 http\_requests\_total, 可以表示 http 请求的总数。
>  *  标签：
>  *  样本：按照某个时序以时间维度采集的数据，称之为样本。实际的时间序列，每个序列包括一个float64的值和一个毫秒级的时间戳
>     
>      *  一个 float64 值
>      *  一个毫秒级的 unix 时间戳
>  *  格式：Prometheus时序格式与`OpenTSDB`相似：

<metric name>{<label name>=<label value>, ...}

**Metric**类型：

>  *  `Counter`: 一种累加的`metric`，如请求的个数，结束的任务数，出现的错误数等
>  *  `Gauge`: 常规的metric,如温度，可任意加减。其为瞬时的，与时间没有关系的，可以任意变化的数据。
>  *  `Histogram`: 柱状图，用于观察结果采样，分组及统计，如：请求持续时间，响应大小。其主要用于表示一段时间内对数据的采样，并能够对其指定区间及总数进行统计。**根据统计区间计算**
>  *  `Summary`: 类似`Histogram`，用于表示一段时间内数据采样结果，其直接存储quantile数据，而不是根据统计区间计算出来的。**不需要计算，直接存储结果**

--------------------

### PromQL ###

PromQL (Prometheus Query Language) 是 Prometheus 自己开发的数据查询 DSL 语言。

查询结果类型：

>  *  瞬时数据 (Instant vector): 包含一组时序，每个时序只有一个点，例如：`http_requests_total`
>  *  区间数据 (Range vector): 包含一组时序，每个时序有多个点，例如：`http_requests_total[5m]`
>  *  纯量数据 (Scalar): 纯量只有一个数字，没有时序，例如：`count(http_requests_total)`

--------------------

查询条件：通过名称及标签进行查询，如`http_requests_total`等价于`{name="http_requests_total"}`

查询`level="info"`的event: `logback_events_total{level="info"}`

查询条件支持正则匹配：

http_requests_total{code!="200"} // 表示查询 code 不为 "200" 的数据
    http_requests_total{code=～"2.."} // 表示查询 code 为 "2xx" 的数据
    http_requests_total{code!～"2.."} // 表示查询 code 不为 "2xx" 的数据

**内置函数：**

*  如将浮点数转换为整数：

floor(avg(http_requests_total{code="200"}))
    ceil(avg(http_requests_total{code="200"}))

*  查看每秒数据 ：

rate(http_requests_total[5m])

**基本查询：**

1.查询当前所有数据

logback_events_total

2.模糊查询： level="inxx"

logback_events_total{level=~"in.."}
    logback_events_total{level=~"in.*"}

3.比较查询： value>0

logback_events_total > 0

4.范围查询： 过去5分钟数据

logback_events_total[5m]

时间范围单位有以下：

>  *  **`s`**: 秒
>  *  **`m`**: 分钟
>  *  **`h`**: 小时
>  *  **`d`**: 天
>  *  **`w`**: 周
>  *  **`y`**: 年

在瞬时向量表达式或者区间向量表达式中，都是以当前时间为基准。

如果想查询5分钏前的瞬时样本数据，则需要**使用位移操作**，关键字：**`offset`**, 其要紧跟在选择器`{}`后面。如：

sum(http_requests_total{method="GET"} offset 5m)
    rate(http_requests_total[5m] offset 1w)

聚合、统计高级查询：

> 1. `count`查询： `count(logback_events_total)`
> 
> 2. `sum`查询： `sum(logback_events_total)`
> 
> 3. `svg`查询：
> 
> 4. `topk`: 如查询2的值：`topk(2, logback_events_total)`
> 
> 5. `irate`: 如查询过去5分钟的平均值: `irate( logback_events_total[5m])`

## 配置 ##

启动时，可以加载运行参数`-config.file`指定配置文件， 默认为`prometheus.yml`:

在该配置文件中可以指定各种属性，其结构体定义如下：

type Config struct {
        GlobalConfig GlobalConfig `yaml:"global"`
        AlertingConfig AlertingConfig `yaml:"alerting,omitempty"`
        RuleFiles []string `yaml:"rule_files,omitempty"`
        ScrapeConfigs []*ScrapeConfig `yaml:"scrape_configs,omitempty"`
        RemoteWriteConfigs []*RemoteWriteConfig `yaml:"remote_write,omitempty"`
        RemoteReadConfigs []*RemoteReadConfig `yaml:"remote_read,omitempty"`
        // Catches all undefined fields and must be empty after parsing.
        XXX map[string]interface{} `yaml:",inline"`
        // original is the input from which the config was parsed.
        original string
    }

### 全局配置 ###

`global`: 主要有四个属性

>  *  `scrape_interval`: 拉取 targets 的默认时间间隔。
>  *  `scrape_timeout`: 拉取一个 target 的超时时间。
>  *  `evaluation_interval`: 执行 rules 的时间间隔。
>  *  `external_labels`: 额外的属性，会添加到拉取的数据并存到数据库中。

## Exporter ##

负责数据汇报的程序统一叫`Exporter`，不同的`Exporter`负责不同的业务。其统一命名格式：`xx_exporter`

[已有exporter][exporter]

## [clientlib][] ##

## pull模式 ##

`prometheus.yml`内容如下：

global:
      scrape_interval: 15s
      evaluation_interval: 15s
    rule_files:
      # - "first.rules"
      # - "second.rules"
    scrape_configs:
      - job_name: 'spring'
        metrics_path: '/actuator/prometheus'
        static_configs:
          - targets: ['自己本机ip:8080']

启动prometheus docker：

docker run --name prom --hostname prom -p 9090:9090 -v 
    /Users/liukun/config/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus

启动以后，我们运行`http://localhost:9090` 可以访问Prometheus。

# 二. Grafana #

## 2.1 Grafana简介 ##

> Prometheus实现了监控数据的可视化，然而使用体验并不好。下面来用Grafana实现更友好、更贴近生产的监控可视化。  
> Grafana是一个开源的跨平台度量分析和可视化 + 告警工具。
> 
> Grafana是用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享、浏览数据。  
> Dashboard中显示了你不同metric数据源中的数据。  
> Grafana最常用于因特网基础设施和应用分析，但在其他领域也有用到，比如：工业传感器、家庭自动化、过程控制等等。  
> Grafana支持热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

## [参考文档][Link 1] ##

--------------------

`instance`： 收集数据的目标端点，一般对应一个进程，即指定其来源，如某个机器

`job`: 实现同一功能或目标的一组instance。 如一组机器的集合。

[Prometheus]: https://www.jianshu.com/p/93c840025f01
[prometheus]: https://www.kancloud.cn/cdh0805010118/prometheus/719340
[Prometheus 1]: https://prometheus.io/
[Prometheus GitHub]: https://github.com/prometheus
[082749_47Dp_5189.png]: /images/20230208/89bf6fd9dbec4e189d921822896d5162.png
[format_png]: /images/20230208/9ad8661940a041de82c16d9f261a4d13.png
[format_png 1]: /images/20230208/70cb2d2010da4ca2a1867e4c9e47b6b6.png
[exporter]: https://links.jianshu.com/go?to=https%3A%2F%2Fprometheus.io%2Fdocs%2Finstrumenting%2Fexporters%2F%23exporters-and-integrations
[clientlib]: https://links.jianshu.com/go?to=https%3A%2F%2Fprometheus.io%2Fdocs%2Finstrumenting%2Fclientlibs%2F
[Link 1]: https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fprometheus%2Fclient_java%23exporting-to-a-pushgateway