K8S Pod该如何监控

太过爱你忘了你带给我的痛 2023-02-18 09:38 29阅读 0赞

# 背景 #

由于业务容器化的推进，对K8S上运行的业务，也必须做到向之前物理机/虚拟机上一样，要有完备的监控保障。但是，毕竟K8S不是物理机/虚拟机，由于技术实现方式不同，监控方面也是有一定差别的。  
Pod是K8S上调度的最小单元，本文就K8S Pod该如何监控进行说明。

# CPU #

在使用物理机/虚拟机时，对于CPU的监控通常关注的是CPU使用率、CPU负载等。在K8S场景下，关注的指标有所不同：CPU使用率、CPU受限（CPU Throttled）时间或占比等。

## CPU使用率 ##

K8S场景下，CPU使用率是相对CPU核的使用时间来衡量的。比如，一个应用申请的是1个CPU core，但实际运行时只消耗了0.5，这时的CPU使用率可以计算为50%。

CPU使用时间相关指标如下：

<table> 
 <thead> 
  <tr> 
   <th>指标</th> 
   <th>类型</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>container_cpu_usage_seconds_total</td> 
   <td>counter</td> 
   <td>Cumulative cpu time consumed in seconds(CPU消费累计时间)</td> 
  </tr> 
  <tr> 
   <td>container_cpu_system_seconds_total</td> 
   <td>counter</td> 
   <td>Cumulative system cpu time consumed in seconds(系统CPU消费的累计时间)</td> 
  </tr> 
  <tr> 
   <td>container_cpu_user_seconds_total</td> 
   <td>counter</td> 
   <td>Cumulative user cpu time consumed in seconds(用户CPU消费的累计时间)</td> 
  </tr> 
 </tbody> 
</table>

需要注意的是：

*  上面3个指标是对CPU不同的消费时间的统计，并不是CPU使用率。如果计算使用率，需要除以应用申请的CPU配额
 *  由于指标类型为counter，在计算使用时先做rate或irate

> CPU配额可以通过`container_spec_cpu_quota`除以`container_spec_cpu_period`来得到，或用CPU Limit值`kube_pod_container_resource_limits_cpu_cores`也可以

CPU使用率监控图类似如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center]

## CPU受限 ##

CPU受限这个说法在物理机/虚拟机场景是没有的，由于K8S使用绝对公平调度（Completely Fair Scheduler，简称CFS），通过配置cgroup带宽控制（bandwidth control）来限制Pod的CPU资源。带宽控制组定义了一个周期（cfs\_period\_us），通常100000微秒（即1/10秒）。还定义了一个配额（cfs\_quota\_us），表示允许进程在设置的周期长度内所能使用的CPU时间数，两个文件配合起来设置CPU的使用上限。两个文件的单位都是微秒（us），cfs\_period\_us的取值范围为 1 毫秒（ms）到 1 秒（s），cfs\_quota\_us 的取值大于 1ms 即可，如果 cfs\_quota\_us 的值为 -1（默认值），表示不受 CPU 时间的限制。我们在编写K8S资源的yaml文件时，如果将Pod的CPU Limits设置为100m，表示可使用100/1000个CPU核心，即100000微秒的CPU时间周期中的10000。当容器使用CPU资源达到申请的配额时，CPU使用时间会被限制。

CPU限制相关的指标如下：

<table> 
 <thead> 
  <tr> 
   <th>指标</th> 
   <th>类型</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>container_cpu_cfs_periods_total</td> 
   <td>counter</td> 
   <td>Number of elapsed enforcement period intervals(使用的CPU时间周期数)</td> 
  </tr> 
  <tr> 
   <td>container_cpu_cfs_throttled_periods_total</td> 
   <td>counter</td> 
   <td>Number of throttled period intervals(被限制CPU时间周期数)</td> 
  </tr> 
  <tr> 
   <td>container_cpu_cfs_throttled_seconds_total</td> 
   <td>counter</td> 
   <td>Total time duration the container has been throttled(记录CPU被限制的时间)</td> 
  </tr> 
 </tbody> 
</table>

> 说明：CPU资源的限制与内存不同。当容器使用的内存超过限制配额后，会被系统加到OOM-Killing候选中。当容器使用CPU资源到达申请配额时，容器不会被系统驱逐或怎么样，只是限制CPU使用。

# 内存 #

内存监控相关指标如下：

<table> 
 <thead> 
  <tr> 
   <th>指标</th> 
   <th>类型</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>container_memory_cache</td> 
   <td>gauge</td> 
   <td>Number of bytes of page cache memory(页缓存的内存大小)</td> 
  </tr> 
  <tr> 
   <td>container_memory_max_usage_bytes</td> 
   <td>gauge</td> 
   <td>Maximum memory usage recorded in bytes(最大内存使用记录)</td> 
  </tr> 
  <tr> 
   <td>container_memory_rss</td> 
   <td>gauge</td> 
   <td>Size of RSS in bytes(常驻内存大小)</td> 
  </tr> 
  <tr> 
   <td>container_memory_swap</td> 
   <td>gauge</td> 
   <td>Container swap usage in bytes(swap使用量)</td> 
  </tr> 
  <tr> 
   <td>container_memory_usage_bytes</td> 
   <td>gauge</td> 
   <td>Current memory usage in bytes, including all memory regardless of when it was accessed(当前内存使用，包括所有的缓存)</td> 
  </tr> 
  <tr> 
   <td>container_memory_working_set_bytes</td> 
   <td>gauge</td> 
   <td>Current working set in bytes(当前使用的内存，不包括长期没有访问的缓存)</td> 
  </tr> 
  <tr> 
   <td>container_memory_failcnt</td> 
   <td>counter</td> 
   <td>Number of memory usage hits limits(达到使用上限的次数)</td> 
  </tr> 
  <tr> 
   <td>container_memory_failures_total</td> 
   <td>counter</td> 
   <td>Cumulative count of memory allocation failures(内存分配失败次数)</td> 
  </tr> 
  <tr> 
   <td>container_memory_mapped_file</td> 
   <td>gauge</td> 
   <td>Size of memory mapped files in bytes(内存映射文件的大小)</td> 
  </tr> 
 </tbody> 
</table>

与物理机/虚拟机类似，通常关注的指标是如下几个：

*  当前使用内存：container\_memory\_usage\_bytes或container\_memory\_working\_set\_bytes
    
     *  container\_memory\_usage\_bytes包含了很久没用的缓存，该值比container\_memory\_working\_set\_bytes要大
 *  常驻内存：container\_memory\_rss
 *  缓存：container\_memory\_cache
 *  swap：container\_memory\_swap

监控图类似如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center 1]

# 磁盘 #

对于磁盘，容器层面的磁盘监控指标关注的要相对少一些。如果不使用持久卷，通常不需要关心磁盘可用空间。毕竟，宿主机的磁盘IO监控还是会做的。

<table> 
 <thead> 
  <tr> 
   <th>指标</th> 
   <th>类型</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>container_fs_usage_bytes</td> 
   <td>gauge</td> 
   <td>Number of bytes that are consumed by the container on this filesystem(容器磁盘空间使用)</td> 
  </tr> 
  <tr> 
   <td>container_fs_writes_bytes_total</td> 
   <td>counter</td> 
   <td>Cumulative count of bytes written(磁盘写入速度)</td> 
  </tr> 
  <tr> 
   <td>container_fs_reads_bytes_total</td> 
   <td>counter</td> 
   <td>Cumulative count of bytes read(磁盘读取速度)</td> 
  </tr> 
 </tbody> 
</table>

监控图类似如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center 2]

# 网络 #

与物理机/虚拟机场景类似，容器的网络监控主要关注入向/出向的网络流量、packet数、drop率等。

<table> 
 <thead> 
  <tr> 
   <th>指标</th> 
   <th>类型</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>container_network_receive_bytes_total</td> 
   <td>counter</td> 
   <td>Cumulative count of bytes received(入向流量大小，单位字节)</td> 
  </tr> 
  <tr> 
   <td>container_network_receive_packets_dropped_total</td> 
   <td>counter</td> 
   <td>Cumulative count of packets dropped while receiving(入向dropped包数)</td> 
  </tr> 
  <tr> 
   <td>container_network_receive_packets_total</td> 
   <td>counter</td> 
   <td>Cumulative count of packets received(入向packet数)</td> 
  </tr> 
  <tr> 
   <td>container_network_transmit_bytes_total</td> 
   <td>counter</td> 
   <td>Cumulative count of bytes transmitted(出向流量大小，单位字节)</td> 
  </tr> 
  <tr> 
   <td>container_network_transmit_packets_dropped_total</td> 
   <td>counter</td> 
   <td>Cumulative count of packets dropped while transmitting(出向dropped包数)</td> 
  </tr> 
  <tr> 
   <td>container_network_transmit_packets_total</td> 
   <td>counter</td> 
   <td>Cumulative count of packets transmitted(出向packet数)</td> 
  </tr> 
 </tbody> 
</table>

这几个网络指标理解起来比较简单，直接使用即可。监控图类似如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200617003548105.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200617003317469.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20200617002404913.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20200617002229562.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbGl4X3l1amluZw==,size_16,color_FFFFFF,t_70#pic_center