Prometheus——监控k8s中pod的GPU

╰+哭是因爲堅強的太久メ 2024-04-18 18:47 50阅读 0赞

由于gpu\_exporter采用[NVIDIA Data Center GPU Manager (DCGM)][NVIDIA Data Center GPU Manager _DCGM]工具，适用于监控集群环境，以下讨论在k8s集群下的监控。

## 一、设备需求： ##

>  *  NVIDIA Tesla驱动程序= R384 +
>  *  nvidia-docker版本> 2.0
>  *  将[默认运行时][Link 1]设置为nvidia
>  *  Kubernetes版本= 1.13
>  *  在/ etc / default / kubelet中设置KubeletPodResources：KUBELET\_EXTRA\_ARGS = - feature-gates = KubeletPodResources = true

## 二、安装介质 ##

*  [dcgm-exporter.tar][]
 *  [pod-gpu-metrics-exporter.tar][dcgm-exporter.tar]
 *  [pod-gpu-metrics-exporter-daemonset.yaml][dcgm-exporter.tar]

（安装介质：[https://github.com/leezake/GPU-POD-EXPORTER-BOOK][https_github.com_leezake_GPU-POD-EXPORTER-BOOK]）

## 三、安装步骤 ##

1：在进行安装前，首先需要对k8s中的有GPU节点打上gpu的标签，以便exporter仅部署在有gpu的节点上：

kubectl label nodes <gpu-node-name> hardware-type=NVIDIAGPU ![20190910172245360.png][]

2：将[dcgm-exporter.tar][]，[pod-gpu-metrics-exporter.tar][dcgm-exporter.tar]推送至镜像仓库：

[dcgm-exporter][dcgm-exporter.tar]：恢复dcgm\_exporer镜像

![20190910172357711.png][]

更改镜像仓库（172.16.18.102:8443为当前kubernetes集群的私有docker registry地址）

![2019091017254729.png][]

将dcgm-exporter镜像上传到私有docker registry

![20190910173030115.png][]

对[pod-gpu-metrics-exporter.tar][dcgm-exporter.tar]进行相同的处理。

3：编辑[pod-gpu-metrics-exporter-daemonset.yaml][dcgm-exporter.tar]文件，将image中的地址替换为私有docker registry的地址

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpWmhlbjMxNA_size_16_color_FFFFFF_t_70][]

部署pod-gpu-metrics-exporter服务

![20190910173407624.png][]

验证服务是否部署成功，查看pod-gpu-metrics-exporter服务对应的pod是否为running状态（启动pod可能需要一点时间）,k8s集群有几个gpu节点，将会启动几个pod。

![20190910173459251.png][]

## 四、配置Gpu Exporter采集地址 ##

*  将上述metric地址（[http://ip:9400/metrics][http_ip_9400_metrics]）配置到Prometheus Server targets.json文件中。通过访问ip:9400/metrics 查看监控指标。

## 五、采集指标解释 ##

dcgm\_fan\_speed\_percent GPU 风扇转速占比（%）

dcgm\_sm\_clock GPU sm 时钟(MHz)

dcgm\_memory\_clock GPU 内存时钟(MHz)

dcgm\_gpu\_temp GPU 运行的温度(℃)

dcgm\_power\_usage GPU 的功率（w）

dcgm\_pcie\_tx\_throughput GPU PCIe TX传输的字节总数 （kb）

dcgm\_pcie\_rx\_throughput GPU PCIe RX接收的字节总数 （kb）

dcgm\_pcie\_replay\_counter GPU PCIe重试的总数

dcgm\_gpu\_utilization GPU 利用率（%）

dcgm\_mem\_copy\_utilization GPU 内存利用率（%）

dcgm\_enc\_utilization GPU 编码器利用率 （%）

dcgm\_dec\_utilization GPU 解码器利用率 (%)

dcgm\_xid\_errors GPU 上一个xid错误的值

dcgm\_power\_violation GPU 功率限制导致的节流持续时间(us)

dcgm\_thermal\_violation GPU 热约束节流持续时间(us)

dcgm\_sync\_boost\_violation GPU 同步增强限制，限制持续时间(us)

dcgm\_fb\_free GPU fb（帧缓存）的剩余（MiB）

dcgm\_fb\_used GPU fb （帧缓存）的使用 （MiB）

[NVIDIA Data Center GPU Manager _DCGM]: https://developer.nvidia.com/data-center-gpu-manager-dcgm
[Link 1]: https://github.com/NVIDIA/nvidia-container-runtime#daemon-configuration-file
[dcgm-exporter.tar]: https://code.bonc.com.cn/lizhen/gpu_monitoring/tree/master
[https_github.com_leezake_GPU-POD-EXPORTER-BOOK]: https://github.com/leezake/GPU-POD-EXPORTER-BOOK
[20190910172245360.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/322da06df897497b88251bfb5c7c7ae6.png
[20190910172357711.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ec14cfa1706d48158ce646d48baa1142.png
[2019091017254729.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/2f1e556e75fc49959ed8d42e223a2d2a.png
[20190910173030115.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/3f8a845ea17d48a488e8f206be3d31a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpWmhlbjMxNA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7b3d99644be34a7e877bcb90900b21bb.png
[20190910173407624.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/8f654644b76648e09d3ee9bedbf9affc.png
[20190910173459251.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/89f825af243c46ea87917d60ce916ff9.png
[http_ip_9400_metrics]: http://ip:9308/metrics