监控时序数据库Prometheus介绍

淡淡的烟草味﹌ 2022-08-28 07:42 494阅读 0赞

[Prometheus源码][Prometheus]

[Prometheus实践][Prometheus 1]

### Prometheus介绍 ###

Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社会也十分活跃，他们便将它独立成开源项目，并且有公司来运作。Google SRE的书内也曾提到跟他们BorgMon监控系统相似的实现是Prometheus。现在最常见的Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。

Prometheus基本原理是通过HTTP协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供HTTP接口就可以接入监控系统，不需要任何SDK或者其他的集成过程。这样做非常适合虚拟化环境比如VM或者Docker 。

Prometheus应该是为数不多的适合Docker、Mesos、Kubernetes环境的监控系统之一。

输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux 系统信息 (包括磁盘、内存、CPU、网络等等)

### Prometheus架构 ###

![请添加图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Liw6Imy5pyo5aSV_size_20_color_FFFFFF_t_70_g_se_x_16]  
Prometheus 生态圈中包含了多个组件，其中许多组件是可选的

*  Prometheus Server: 用于收集和存储时间序列数据。
 *  Client Library: 客户端库，为需要监控的服务生成相应的 metrics 并暴露给 \* Prometheus server。当 Prometheus server 来 pull 时，直接返回实时状态的 metrics。
 *  Push Gateway: 主要用于短期的 jobs。由于这类 jobs 存在时间较短，可能在 \* Prometheus 来 pull 之前就消失了。为此，这次 jobs 可以直接向 Prometheus server 端推送它们的 metrics。这种方式主要用于服务层面的 metrics，对于机器层面的 metrices，需要使用 node exporter。
 *  Exporters: 用于暴露已有的第三方服务的 metrics 给 Prometheus。
 *  Alertmanager: 从 Prometheus server 端接收到 alerts 后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，OpsGenie, webhook 等。
 *  一些其他的工具。

### Prometheus的优点 ###

*  强大的多维度数据模型
    
     *  时间序列数据通过 metric 名和键值对来区分。
     *  所有的 metrics 都可以设置任意的多维标签。
     *  数据模型更随意，不需要刻意设置为以点分隔的字符串。
     *  可以对数据模型进行聚合，切割和切片操作。
     *  支持双精度浮点类型，标签可以设为全 unicode。
 *  灵活而强大的查询语句（PromQL）：在同一个查询语句，可以对多个 metrics 进行乘法、加法、连接、取分数位等操作。
 *  易于管理： Prometheus server 是一个单独的二进制文件，可直接在本地工作，不依赖于分布式存储。
 *  高效：平均每个采样点仅占 3.5 bytes，且一个 Prometheus server 可以处理数百万的 metrics（320万的实际序列，每30秒采样60天，磁盘消耗230G左右）
 *  使用 pull 模式采集时间序列数据，这样不仅有利于本机测试而且可以避免有问题的服务器推送坏的 metrics。
 *  可以采用 push gateway 的方式把时间序列数据推送至 Prometheus server 端。
 *  可以通过服务发现或者静态配置去获取监控的 targets。
 *  有多种可视化图形界面。
 *  易于伸缩。

#### Prometheus的指标数据模型 ####

Prometheus从根本上所有的存储都是按时间序列去实现的，相同的metrics(指标名称) 和label(一个或多个标签) 组成一条时间序列，不同的label表示不同的时间序列。为了支持一些查询，有时还会临时产生一些时间序列存储。

`metrics name`&`label`指标名称和标签

每条时间序列是由唯一的”指标名称”和一组”标签（key=value）”的形式组成。

`指标名称`：一般是给监测对像起一名字，例如http\_requests\_total这样，它有一些命名规则，可以包字母数字\_之类的的。通常是以应用名称开头\_监测对像\_数值类型\_单位这样。例如：push\_total、userlogin\_mysql\_duration\_seconds、app\_memory\_usage\_bytes。

`标签`：就是对一条时间序列不同维度的识别了，例如一个http请求用的是POST还是GET，它的endpoint是什么，这时候就要用标签去标记了。最终形成的标识便是这样了：http\_requests\_total\{method=”POST”,endpoint=”/api/tracks”\}。

*针对http\_requests\_total这个metrics name无论是增加标签还是删除标签都会形成一条新的时间序列*

查询语句就可以跟据上面标签的组合来查询聚合结果了。

如果以传统数据库的理解来看这条语句，则可以考虑`http_requests_total是表名`，`标签是字段`，而`timestamp是主键`, 还有一个float64字段是值了。（Prometheus里面所有值都是按float64存储）。

#### Prometheus支持的四种数据类型 ####

##### Counter #####

Counter用于累计值，例如记录请求次数、任务完成数、错误发生次数。一直增加，不会减少。重启进程后，会被重置。

例如：http\_response\_total\{method=”GET”,endpoint=”/api/tracks”\} 100，10秒后抓取http\_response\_total\{method=”GET”,endpoint=”/api/tracks”\} 100。

##### Gauge #####

Gauge常规数值，例如 温度变化、内存使用变化。可变大，可变小。重启进程后，会被重置。

例如： memory\_usage\_bytes\{host=”master-01″\} 100 < 抓取值、memory\_usage\_bytes\{host=”master-01″\} 30、memory\_usage\_bytes\{host=”master-01″\} 50、memory\_usage\_bytes\{host=”master-01″\} 80 < 抓取值。

##### Histogram #####

Histogram（直方图）可以理解为柱状图的意思，常用于跟踪事件发生的规模，例如：请求耗时、响应大小。它特别之处是可以对记录的内容进行分组，提供count和sum全部值的功能。

例如：\{小于10=5次，小于20=1次，小于30=2次\}，count=7次，sum=7次的求和值。

#### Summary ####

Summary和Histogram十分相似，常用于跟踪事件发生的规模，例如：请求耗时、响应大小。同样提供 count 和 sum 全部值的功能。

例如：count=7次，sum=7次的值求值。

它提供一个quantiles的功能，可以按%比划分跟踪的结果。例如：quantile取值0.95，表示取采样值里面的95%数据。

### 监测的类型 ###

监控对象的角度来看，可以将监控分为网络监控，存储监控，服务器监控和应用监控等  
![请添加图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Liw6Imy5pyo5aSV_size_20_color_FFFFFF_t_70_g_se_x_16 1]

2.1、网络监控  
网络性能监控：主要涉及网络监测，网络实时流量监控（网络延迟、访问量、成功率）和历史数据统计、汇总和历史数据分析等功能。

网络攻击检测：主要针对内网或者外网的网络攻击。如DDoS攻击的。通过分析异常流量来确定网络攻击行为。

设备监控：主要针对数据中心内的多种网络设备进行监控。包括路由器，防火墙和交换机等硬件设备，可以通过snmp等协议收集数据。

2.2、存储监控  
存储性能监控方面：存储通常监控块的读写速率，IOPS。读写延迟，磁盘用量等；文件存储通常监控文件系统inode。读写速度、目录权限等。

存储系统监控方面：不同的存储系统有不同的指标，例如，对于ceph存储需要监控OSD, MON的运行状态，各种状态pg的数量以及集群IOPS等信息。

存储设备监控方面：对于构建在x86服务器上的存储设备，设备监控通过每个存储节点上的采集器统一收集磁盘、SSD、网卡等设备信息；存储厂商以黑盒方式提供商业存储设备，通常自带监控功能，可监控设备的运行状态，性能和容量的。

2.3、服务器监控  
CPU：涉及整个 CPU 的使用量、用户态百分比、内核态百分比，每个 CPU 的使用量、等待队列长度、I/O 等待百分比、CPU 消耗最多的进程、上下文切换次数、缓存命中率等。

内存：涉及内存的使用量、剩余量、内存占用最高的进程、交换分区大小、缺页异常等。

网络 I/O：涉及每个网卡的上行流量、下行流量、网络延迟、丢包率等。

磁盘 I/O：涉及硬盘的读写速率、IOPS、磁盘用量、读写延迟等。

2.4、中间件监控  
消息中间件： RabbitMQ、Kafka

Web 服务中间件：Tomcat、Jetty

缓存中间件：Redis、Memcached

数据库中间件：MySQL、PostgreSQL

2.5、应用程序监控（APM）  
APM主要是针对应用程序的监控，包括应用程序的运行状态监控，性能监控，日志监控及调用链跟踪等。调用链跟踪是指追踪整个请求过程（从用户发送请求，通常指浏览器或者应用客户端）到后端API服务以及API服务和关联的中间件，或者其他组件之间的调用，构建出一个完整的调用拓扑结构，不仅如此，APM 还可以监控组件内部方法的调用层次（Controller–>service–>Dao）获取每个函数的执行耗时，从而为性能调优提供数据支撑。

应用程序监控工具除了有 Pinpoint，还有 Twitter 开源的 Zipkin，Apache SkyWalking，美团开源的 CAT等。

[参考资料1][1]  
[参考资料2][2]

[Prometheus]: https://github.com/prometheus
[Prometheus 1]: https://blog.csdn.net/youlinhuanyan/article/details/120619380
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Liw6Imy5pyo5aSV_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/65105e7f3859485d98435aead83c2370.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Liw6Imy5pyo5aSV_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/03cf14673fca44f48f383c64c01fa916.png
[1]: https://blog.51cto.com/wzlinux/2487300
[2]: https://www.cnblogs.com/xiao987334176/p/9930517.html