Prometheus部署（二）

た入场券 2023-02-24 08:56 119阅读 0赞

Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包。自2012年成立以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。Prometheus 于2016年加入了 Cloud Native Computing Foundation，这是继Kubernetes之后的第二个托管项目。

官网：https://prometheus.io 最新版本: 2.19.2

Exporter是一个采集监控数据并通过Prometheus监控规范对外提供数据的组件，能为Prometheus提供监控的接口。

Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可获取到需要采集的监控数据。不同的Exporter负责不同的业务。

Prometheus              开源的系统监控和报警框架，灵感源自Google的Borgmon监控系统
    
    AlertManager            处理由客户端应用程序（如Prometheus server）发送的警报。它负责将重复数据删除，分组和路由到正确的接收者集成，还负责沉默和抑制警报
    
    Node_Exporter           用来监控各节点的资源信息的exporter，应部署到prometheus监控的所有节点
    
    PushGateway             推送网关，用于接收各节点推送的数据并暴露给Prometheus server

文档：https://prometheus.io/docs/introduction/overview/

下载prometheus各组件：

https://prometheus.io/download/

--------------------

### 环境准备 ###

*  主机说明：

<table> 
 <thead> 
  <tr> 
   <th>系统</th> 
   <th>ip</th> 
   <th>角色</th> 
   <th>cpu</th> 
   <th>内存</th> 
   <th>hostname</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>CentOS 7.8</td> 
   <td>192.168.30.135</td> 
   <td>prometheus、node1</td> 
   <td>&gt;=2</td> 
   <td>&gt;=2G</td> 
   <td>prometheus</td> 
  </tr> 
  <tr> 
   <td>CentOS 7.8</td> 
   <td>192.168.30.136</td> 
   <td>altermanager、node2</td> 
   <td>&gt;=2</td> 
   <td>&gt;=2G</td> 
   <td>altermanager</td> 
  </tr> 
  <tr> 
   <td>CentOS 7.8</td> 
   <td>192.168.30.137</td> 
   <td>grafana、node3</td> 
   <td>&gt;=2</td> 
   <td>&gt;=2G</td> 
   <td>grafana</td> 
  </tr> 
 </tbody> 
</table>

*  全部关闭防火墙和selinux：

systemctl stop firewalld && systemctl disable firewalld
    
    sed -i 's/=enforcing/=disabled/g' /etc/selinux/config  && setenforce 0

--------------------

### PromQL介绍 ###

PromQL (Prometheus Query Language) 是 Prometheus 自己开发的数据查询 DSL 语言，语言表现力非常丰富，内置函数很多，在日常数据可视化以及rules 告警中都会使用到它。

*  表达式数据类型：

在prometheus的表达式中，一个表达式或子表达式可以分为以下四种类型之一：

即时向量（Instant vector）：一组时间序列，每个时间序列包含一个样本，所有样本共享相同的时间戳
    
    范围向量（Range vector）：一组时间序列，其中包含每个时间序列随时间变化的一系列数据点
    
    标量（Scalar）：一个简单的数字浮点值
    
    字符串（String）：一个简单的字符串值，目前未使用

*  查询条件：

prometheus 存储的是时序数据，而它的时序是由metric名称和一组标签构成的，其实metric名称也可以写出标签的形式，例如`prometheus_http_requests_total`等价于`{name="prometheus_http_requests_total"}`。

一个简单的查询相当于是对各种标签的筛选，例如：

prometheus_http_requests_total{code="200"}              #表示查询metric名称为 prometheus_http_requests_total，code 为 "200" 的数据

查询条件支持正则匹配，例如：

prometheus_http_requests_total{code!="200"}                 #表示查询 code 不为 "200" 的数据
    
    prometheus_http_requests_total{code=～"2.."}                #表示查询 code 为 "2xx" 的数据
    
    prometheus_http_requests_total{code!～"2.."}                #表示查询 code 不为 "2xx" 的数据

*  操作符：

prometheus 查询语句中，支持常见的各种表达式操作符，例如：

算术运算符：+、-、*、/、%、^ ，比如 prometheus_http_requests_total * 2 表示将 prometheus_http_requests_total 所有数据乘以2
    
    比较运算符：==、!=、>、<、>=、<= ，比如 prometheus_http_requests_total > 100 表示 prometheus_http_requests_total 结果中大于 100 的数据
    
    逻辑运算符：and、or、unless ，比如 prometheus_http_requests_total == 5 or prometheus_http_requests_total == 2 表示 prometheus_http_requests_total 结果中等于 5 或者 2 的数据
    
    聚合运算符：sum、min、max、avg、stddev、stdvar、count、count_values、bottomk、topk、quantile，比如 max(prometheus_http_requests_total) 表示 prometheus_http_requests_total 结果中最大的数据

> 注意，运算符也有优先级，它们遵从（^）> (\*, /, %) > (+, -) > (==, !=, <=, <, >=, >) > (and, unless) > (or) 的原则。

*  内置函数：

prometheus 内置不少函数，方便查询以及数据格式化，例如将结果由浮点数转为整数的 `floor` 和 `ceil`，

floor(avg(prometheus_http_requests_total{code="200"}))
    
    ceil(avg(prometheus_http_requests_total{code="200"}))

查看 `prometheus_http_requests_total` 5分钟内平均每秒的数据，

rate(prometheus_http_requests_total[5m])

常用内置函数：

abs(v instant-vector)               返回所有样本值均转换为绝对值的输入即时向量v
    
    absent(v instant-vector)                如果传递给它的即时向量v有任何元素，则返回一个空向量；如果传递给它的即时向量v没有元素，则返回值为1的单元素向量
    
    absent_over_time(v range-vector)                如果传递给它的范围向量v有任何元素，则返回一个空向量；如果传递给它的范围向量v没有元素，则返回值为1的单元素向量
    
    avg_over_time(range-vector)             指定时间间隔内范围向量所有元素样本值的平均值
    
    ceil(v instant-vector)              将即时向量v中所有元素的样本值向上取整到最接近的整数
    
    changes(v range-vector)             对于范围向量v中的时间序列，返回其值在提供的时间范围内变化的次数作为一个即时向量
    
    clamp_max(v instant-vector, max scalar)             将即时向量v中所有元素的样本值锁定上限为标量max
    
    clamp_min(v instant-vector, min scalar)             将即时向量v中所有元素的样本值锁定下限为标量min
    
    count_over_time(range-vector)               指定时间间隔内范围向量所有元素样本值的计数
    
    day_of_month(v=vector(time()) instant-vector)               返回UTC中每个给定时间的月份。返回值是1到31
    
    day_of_week(v=vector(time()) instant-vector)                返回UTC中每个给定时间的星期几。返回值是从0到6，其中0表示星期日
    
    days_in_month(v=vector(time()) instant-vector)              返回UTC中每个给定时间的月份中的天数。返回值是28到31
    
    delta(v range-vector)               计算范围向量v中每个时间序列元素的第一个值与最后一个值之间的差，并返回具有给定增量和相同标签的即时向量。delta 应仅与Gauge一起使用
    
    deriv(v range-vector)               使用简单的线性回归来计算范围向量v中时间序列的每秒导数。deriv 应仅与Gauge一起使用
    
    exp(v instant-vector)               计算即时向量v中的所有元素的指数函数。特殊情况是：Exp(+Inf) = +Inf、Exp(NaN) = NaN
    
    floor(v instant-vector)             将即时向量v中所有元素的样本值向下取整到最接近的整数
    
    hour(v=vector(time()) instant-vector)               返回UTC中每个给定时间的一天中的小时。返回值是从0到23
    
    idelta(v range-vector)              计算范围向量v中最后两个样本之间的差，并返回具有给定增量和相同标签的即时向量。idelta 应仅与Gauge一起使用
    
    increase(v range-vector)                计算范围向量v中时间序列的增加。单调性中断（例如由于目标重新启动而导致的计数器重置）会自动进行调整。increase 应仅与Counter一起使用
    
    irate(v range-vector)               计算范围向量v中时间序列的每秒瞬时增加率。单调性中断（例如由于目标重新启动而导致的计数器重置）会自动进行调整
    
    label_join(v instant-vector, dst_label string, separator string, src_label_1 string, src_label_2 string, ...)                对于即时向量v中的每个时间序列，使用分隔符separator将所有源标签src_labels的值连接在一起，并返回带有标签值的目的标签dst_label的时间序列。src_labels可以有任意多个
    
    label_replace(v instant-vector, dst_label string, replacement string, src_label string, regex string)             对于即时向量v中的每个时间序列，使用正则表达式regex匹配标签 src_label。如果匹配，则返回时间序列，并将标签dst_label替换为replacement的扩展。$1用第一个匹配的子组替换，$2再用第二个匹配的子组替换。如果正则表达式不匹配，则时间序列不变
    
    max_over_time(range-vector)             指定时间间隔内范围向量所有元素样本值的最大值
    
    min_over_time(range-vector)             指定时间间隔内范围向量所有元素样本值的最小值
    
    minute(v=vector(time()) instant-vector)             返回UTC中每个给定时间的小时分钟。返回值是从0到59
    
    month(v=vector(time()) instant-vector)              返回UTC中每个给定时间的一年中的月份。返回值是从1到12，其中1表示一月
    
    rate(v range-vector)                计算范围向量v中时间序列的每秒平均增长率。单调性中断（例如由于目标重新启动而导致的计数器重置）会自动进行调整
    
    resets(v range-vector)              对于范围向量v中的每个时间序列，将提供的时间范围内的计数器重置次数作为即时向量返回，两个连续样本之间值的任何下降都被视为计数器重置。resets 应仅与Counter一起使用
    
    round(v instant-vector, to_nearest=1 scalar)                将即时向量v中所有元素的样本值四舍五入为最接近的整数
    
    scalar(v instant-vector)                给定一个单元素即时向量v，返回该单个元素的样本值作为标量。如果即时向量v不是单元素向量，scalar则将返回NaN
    
    sort(v instant-vector)              将即时向量v中元素的样本值升序排列
    
    sort_desc(v instant-vector)             与sort相同，但以降序排列
    
    sum_over_time(range-vector)             指定时间间隔内范围向量所有元素样本值的总和
    
    time()              返回自1970年1月1日UTC以来的秒数
    
    timestamp(v instant-vector)             返回即时向量v的每个样本的时间戳，作为自1970年1月1日UTC以来的秒数
    
    vector(s scalar)                返回标量s作为不带标签的向量
    
    year(v=vector(time()) instant-vector)               返回UTC中每个给定时间的年份

*  查询示例：

返回metric名称是`http_requests_total`的所有时间序列

http_requests_total

返回所有metric名称是`http_requests_total`、job是`apiserver`、handler是`/api/comments`的时间序列

http_requests_total{job="apiserver", handler="/api/comments"}

返回5分钟内metric名称是`http_requests_total`、job是`apiserver`、handler是`/api/comments`的时间序列

http_requests_total{job="apiserver", handler="/api/comments"}[5m]

返回所有metric名称是`http_requests_total`、job以`server`结尾的时间序列

http_requests_total{job=~".*server"}

返回所有metric名称是`http_requests_total`、status不是`4xx`的时间序列

http_requests_total{status!~"4.."}

返回过去30分钟内metric名称是`http_requests_total`时间序列的5分钟速率，分辨率为1分钟

rate(http_requests_total[5m])[30m:1m]

返回所有metric名称是`http_requests_total`时间序列的每秒速率，以最近5分钟为单位

rate(http_requests_total[5m])

返回每个实例中未使用的内存，以MiB为单位

(instance_memory_limit_bytes - instance_memory_usage_bytes) / 1024 / 1024

根据app和proc求和，返回每个实例中未使用的内存的总和，以MiB为单位

sum by (app, proc) (
      instance_memory_limit_bytes - instance_memory_usage_bytes
    ) / 1024 / 1024

--------------------

### 查询演示 ###

在简单了解了PromQL之后，可以在prometheus界面进行数据的查询，不断调试表达式，最终得到想要的数据并以此作为规则的表达式。

上文已经部署了prometheus、node\_exporter、alertmanager，因此查询时可以选择的metric名称也只与三者相关。如果想要查询其它如mysql、redis的数据，需要安装对应的exporter。

表达式中要用到的job和实例名可以在`prometheus.yml`中自定义。

*  存活状态：

up		#检查是否存活，存活返回1，否则返回0

访问`ip:9090`，输入`up`（或下拉框选择`up`），点击`Execute`，

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70]

可以看到，value都是1，这表明前面部署的组件都处于存活状态。

针对`up`返回的`Element`，可以自定义查询表达式，如根据job：

up{ job="prometheus"}        #仅查询prometheus的存活状态
    
    up{ job="node"}      #仅查询node_exporter的存活状态
    
    up{ job="alertmanager"}      #仅查询prometheus的存活状态

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 1]

还可以根据实例名来查询某一实例的存活状态：

up{ instance=~"192.168.30.135.*"}        #仅查询192.168.30.135上组件的存活状态
    
    up{ instance=~"192.168.30.136.*"}        #仅查询192.168.30.136上组件的存活状态
    
    up{ instance=~"192.168.30.137.*"}        #仅查询192.168.30.137上组件的存活状态

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 2]

`up`对于监控是否存活非常重要。

*  主机名：

node_uname_info             #主机信息，包含主机名
    
    count by (nodename) (node_uname_info)       #主机名

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 3]

在grafana中，可以添加变量`hostname`，并设置Query为`label_values(node_uname_info{job=~"$job"}, nodename)`，筛选出主机名。

*  运行时间：

time() - node_boot_time_seconds     #系统运行时间，单位是s
    
    (time() - node_boot_time_seconds) / 3600        #系统运行时间，单位是h
    
    (time() - node_boot_time_seconds) / 3600 / 24       #系统运行时间，单位是d

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 4]

以`192.168.30.135`为例，针对单台主机查询：`(time() - node_boot_time_seconds{instance=~"192.168.30.135.*"}) / 3600 / 24`。

系统运行时间可以配置为记录规则，记录监控主机的运行时间。

*  平均负载：

node_load1      #查看当前node_exporter所在节点1分钟的平均负载
    
    node_load5      #查看当前node_exporter所在节点5分钟的平均负载
    
    node_load15     #查看当前node_exporter所在节点15分钟的平均负载

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 5]

平均负载也可以根据job或实例名来进行查询，如根据实例名：

node_load15{ instance=~"192.168.30.135.*"}       #仅查询192.168.30.135 15分钟的平均负载
    
    node_load15{ instance=~"192.168.30.136.*"}       #仅查询192.168.30.136 15分钟的平均负载
    
    node_load15{ instance=~"192.168.30.137.*"}       #仅查询192.168.30.137 15分钟的平均负载

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 6]

*  cpu核数：

count by (instance) (node_cpu_seconds_total{ job="node",mode='system'})      #cpu核数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 7]

*  cpu空闲率：

avg by (instance) (irate(node_cpu_seconds_total{ job="node",mode="idle"}[5m])) * 100     #5分钟内cpu空闲率，单位是%

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 8]

*  cpu使用率：

(1 - avg by (instance) (irate(node_cpu_seconds_total{ job="node",mode="idle"}[5m]))) * 100       #5分钟内cpu使用率，单位是%

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 9]

*  内存总大小：

ceil(node_memory_MemTotal_bytes{ job="node"} / (1024 ^ 3))       #内存总大小，单位是GiB

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 10]

*  可用内存大小：

node_memory_MemAvailable_bytes{ job="node"} / (1024 ^ 3)     #可用内存大小，单位是GiB

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 11]

*  内存使用率：

(1 - (node_memory_MemAvailable_bytes{ job="node"} / node_memory_MemTotal_bytes{ job="node"})) * 100       #内存使用率，单位是%

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 12]

*  磁盘总大小：

node_filesystem_size_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/"} / (1024 ^ 3)     # / 分区磁盘大小，单位是GiB
    
    node_filesystem_size_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/boot"} / (1024 ^ 3)     # /boot 分区磁盘大小，单位是GiB

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 13]

*  磁盘可用大小：

node_filesystem_avail_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/"} / (1024 ^ 3)        # / 分区磁盘可用大小，单位是GiB
    
    node_filesystem_avail_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/boot"} / (1024 ^ 3)        # /boot 分区磁盘可用大小，单位是GiB

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 14]

*  磁盘使用率：

(1 - node_filesystem_avail_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/"} / node_filesystem_size_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/"}) * 100       # / 分区磁盘使用率，单位是%
    
    (1 - node_filesystem_avail_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/boot"} / node_filesystem_size_bytes{ job="node",fstype=~"ext.*|xfs",mountpoint ="/boot"}) * 100       # /boot 分区磁盘使用率，单位是%

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 15]

*  磁盘设备最大读取速率：

max by (instance) (irate(node_disk_read_bytes_total{ job="node"}[5m]))       #5分钟内磁盘设备的最大读取速率，单位是bytes/s

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 16]

*  磁盘设备最大写入速率：

max by (instance) (irate(node_disk_written_bytes_total{ job="node"}[5m]))        #5分钟内磁盘设备的最大写入速率，单位是bytes/s

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 17]

*  网卡名：

node_network_device_id{ device!~"lo|docker.|cali.*"}        #主机所有网卡名

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 18]

*  网卡状态：

node_network_up{ device!~"lo|docker.|cali.*"}        #网卡存活状态

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 19]

*  网络下载速率：

max by (instance) (irate(node_network_receive_bytes_total{ job="node"}[5m]) * 8)     #5分钟内网络最大下载速率，单位是bits/s

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 20]

*  网络上传速率：

max by (instance) (irate(node_network_transmit_bytes_total{ job="node"}[5m]) * 8)        #5分钟内网络最大上传速率，单位是bits/s

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 21]

*  inode总数：

node_filesystem_files{ job="node",fstype=~"ext4|xfs",mountpoint="/"}     # / 分区磁盘inode总数
    
    node_filesystem_files{ job="node",fstype=~"ext4|xfs",mountpoint="/boot"}     # /boot 分区磁盘inode总数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 22]

*  inode可用数：

node_filesystem_files_free{ job="node",fstype=~"ext4|xfs",mountpoint="/"}        # / 分区磁盘inode可用数
    
    node_filesystem_files_free{ job="node",fstype=~"ext4|xfs",mountpoint="/boot"}        # /boot 分区磁盘inode可用数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 23]

*  inode使用率：

(1 - node_filesystem_files_free{ job="node",fstype=~"ext4|xfs",mountpoint="/"} / node_filesystem_files{ job="node",fstype=~"ext4|xfs",mountpoint="/"}) * 100      # / 分区磁盘inode使用率，单位是%
    
    (1 - node_filesystem_files_free{ job="node",fstype=~"ext4|xfs",mountpoint="/boot"} / node_filesystem_files{ job="node",fstype=~"ext4|xfs",mountpoint="/boot"}) * 100      # /boot 分区磁盘inode使用率，单位是%

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 24]

*  最大文件描述符：

node_filefd_maximum{ job="node"}     #系统最大文件描述符

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 25]

*  打开文件描述符数：

node_filefd_allocated{ job="node"}       #打开的文件描述符数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 26]

*  文件描述符使用率：

(node_filefd_allocated{ job="node"} / node_filefd_maximum{ job="node"}) * 100     #文件描述符使用率，单位是%

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 27]

*  tcp相关：

node_netstat_Tcp_ActiveOpens        #从 CLOSED 状态直接转换到 SYN-SENT 状态的 TCP 连接数
    
    node_netstat_Tcp_CurrEstab      #当前状态为 ESTABLISHED 或 CLOSE-WAIT 的 TCP 连接数
    
    node_netstat_Tcp_InErrs     #TCP 接收的错误报文数
    
    node_netstat_Tcp_InSegs     #TCP 接收的报文数
    
    node_netstat_Tcp_OutSegs        #TCP 发送的报文数
    
    node_netstat_Tcp_PassiveOpens       #从 LISTEN 状态直接转换到 SYN-RCVD 状态的 TCP 连接数
    
    node_netstat_Tcp_RetransSegs        #TCP 重传报文数
    
    node_sockstat_TCP_tw        #等待关闭的TCP连接数
    
    node_sockstat_sockets_used      #已使用的所有协议套接字总量
    
    node_sockstat_TCP_alloc     #已分配（已建立、已申请到sk_buff）的TCP套接字数量

--------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70]: /images/20230209/8dca276bce5346e0b7298f4b251939d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200709094435957.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200709094452889.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200709094506856.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200709094526220.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200709094544260.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200709094601926.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200709094627722.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200709094641249.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200709094700151.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200709094742960.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200709094753896.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200709094811107.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200709094829567.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200709094852154.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20200709094911937.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/2020070909492975.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20200709094943882.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20200709095005982.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20200709095027939.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20200709095045142.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20200709095109525.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/20200709095130724.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 23]: https://img-blog.csdnimg.cn/20200709095142393.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 24]: https://img-blog.csdnimg.cn/20200709095208333.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 25]: https://img-blog.csdnimg.cn/20200709095230681.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 26]: https://img-blog.csdnimg.cn/20200709095247535.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 27]: https://img-blog.csdnimg.cn/20200709095306623.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz,size_16,color_FFFFFF,t_70