prometheus监控docker资源情况部署

ゝ一纸荒年。 2021-11-29 05:32 377阅读 0赞

prometheus核心：多维数据模型

比如要监控容器webapp1的内存使用情况，最传统和典型的方法是定义一个指标container\_memory\_usage\_bytes\_webapp1来记录webapp1的内存使用数据，加入每一分钟取样一次，那么在数据库里就会有类似下面的记录

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyNzE5MjExNjgzMS0xOTk0MzY1ODY0LnBuZw][]

如果现在需求发生了变化，我们需要知道webapp所有容器的内存使用情况，如果还是采用刚才的方法，就不得不增加指标container\_memory\_usage\_bytes\_webapp2,container\_memory\_usage\_bytes\_webapp3,。。。。。。。

像graphite这类更高级的监控方案采用了更为优雅的层次化数据模型，为了满足上面的需求，graphite会定义指标：container.memory\_usage\_butes.webapp1,container.memory\_usage\_butes.webapp2,container.memory\_usage\_butes.webapp3,。。。。。。

然后就可以用：container.memory\_usage\_butes.webapp\*获取所有的webapp内存使用数据

此外graphite还支持sum()等函数对指标进行计算和处理，

比如：sum（container.memory\_usage\_butes.webapp1\*）可以得到所有webapp容器占用的总内存量

目前为止，问题处理的都很好，但是客户也许会提出更多得需求：现在不仅按容器得名字统计内存使用量，还要按照镜像来统计；或者想对比一下某一组容器在生产环境和测试环境中内存使用得不同情况

如果按照传统得方案：只要定义更多得指标就能满足这些需求，比如：

container.memory\_usage\_bytes.image1.webapp1,container.memory\_usage\_bytes.webapp1.prod等

但问题在于我们没办法提前预知客户要用这些数据回答怎样得问题，所以没办法提前定义好所有得指标

下面来看一下prometheus解决方案：

promethues只需要定义一个全局得指标container\_memory\_usage\_bytes,然后通过添加不同得维度数据来满足不同得业务需求

比如对于前面的webapp1的三条取样数据，转换成prometheus多维数据变成：

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyNzE5NDU1OTE3NS0xNDMyMDM4NTQ1LnBuZw][]

后面三列container\_name,image,env就是数据的三个w维度。

想象一下，如果不同的env（prod，test，dev），不同image的容器，他们的内存使用数据中标注了这三个维度信息，那么就能满足很多业务需求

比如：

1.计算webapp2的平均内存使用情况：

avg(container\_memory\_usage\_bytes\{container\_name="webapp2"\})

2.计算运行mycom/webapp：1.3镜像的所有内存使用总量：

sum(container\_memory\_usage\_bytes\{image="mycom/webapp:1.3"\})

3.统计不同运行环境中webapp容器内存使用总量：

sum(container\_memory\_usage\_bytes\{container\_name=~"webapp"\})by (env)

这只是几个例子，不过已经说明prometheus数据模型的优势了：

**1.通过维度对数据进行说明，附加更多的业务信息，进而满足不同业务的需求。同时维度是可以动态添加的，比如再给数据添加一个user维度，就可以按照用户来统计内存的使用量了。**

**2.prometheus丰富的查询语句能够灵活，充分挖掘数据的价值**

**部署prometheus：**

**环境说明：我们通过prometheus监控两台docker host，监控host和容器两个层次的数据**

**按照架构图，我们需要运行如下组件：**

**prometheus server**

prometheus server本身也是用容器方式运行

**exporter**

prometheus有很多现成的exporter，完整的列表请参考官网：

我们将使用：

1.NODE exporter，负责收集host硬件和操作系统数据，他将以容器的方式运行在所有的host上

2.cadvisor：负责收集容器的数据，他将以容器的方式运行在所有的host上

**grafana**

显示多维数据，grafana将以容器的方式与prometheus server运行在同一个host上

**开始部署**

**1.运行node exporter**

**在两个host上运行容器：**

**docker run -d -p 9100:9100 -v "/proc:/host/proc" -v "/sys:/host/sys" -v "/:/rootfs" --net=host prom/node-exporter --path.procfs /host/proc --path.sysfs /host/sys --collector.filesystem.ignored-mount-points "^/(sys|proc|dev|)"**

![20190722102942532.png][]

![20190722103036397.png][]

**注意：我们这里用的网络是host ：--network host，这样prometheus server可以直接与node exporter通信**

**Node exporter启动后，将通过9100提供host的监控数据。在浏览器中通过http://ip:9100/metrics测试一下**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70][]

**两个host运行cadvisor**

**docker run -d -p 9090:8080 --network host --name cadvisor -v /:/rootfs:ro -v /var/run:/var/run:rw -v /sys:/sys:ro -v /var/lib/docker/:/var/lib/docker:ro google/cadvisor:latest**

![20190722103950334.png][]

**注意：我们这里的容器也是用的是host网络，这样方便cadvisor与prometheus server 进行通信**

**cadvisor启动后，将通过9090提供host的监控数据。在浏览器中通过：http://ip:9090/metrics测试**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 1][]

**在docker一台上运行prometheus server**

** docker run -it -p 9091:9090 -v /root/prometheus:/etc/prometheus --name prometheus --network host prom/prometheus**

**这个prometheus.yml文件是自己创建的**

**可以在官网上copy，https://prometheus.io/docs/prometheus/latest/getting\_started/**

**prometheus.yml配置如下**

**global:  
  scrape\_interval:     15s \# By default, scrape targets every 15 seconds.**

**  \# Attach these labels to any time series or alerts when communicating with  
  \# external systems (federation, remote storage, Alertmanager).  
  external\_labels:  
    monitor: 'codelab-monitor'**

**\# A scrape configuration containing exactly one endpoint to scrape:  
\# Here it's Prometheus itself.  
scrape\_configs:  
  \# The job name is added as a label \`job=<job\_name>\` to any timeseries scraped from this config.  
  - job\_name: 'prometheus'**

**    \# Override the global default and scrape targets from this job every 5 seconds.  
    scrape\_interval: 5s**

**    static\_configs:  
      - targets: \['ip9090','ip:9091','ip:9100','ip:9090','ip:9100'\]**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 2][]

**登录http://ip:9091/target得到以下页面**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 3][]

**所有的target的state都是UP，说明Promethues server能够正常获取监控数据**

** 在prometheus server上运行grafana**

** 同样是以容器的方式运行，官网：http://docs.grafana.org/installation/docker/**

**docker run \\  
  -d \\  
  -p 3000:3000 \\  
  --name=grafana \\**

**--network host \\  
  -e "GF\_SERVER\_ROOT\_URL=http://grafana.server.name" \\  
  -e "GF\_SECURITY\_ADMIN\_PASSWORD=secret" \\  
  grafana/grafana**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 4][]

注：这里我们依然使用的是host网络，这样grafana可以直接与prometheus server进行通信

\-e "GF\_SECURITY\_ADMIN\_PASSWORD=secret" 指定了grafana admin用户密码：secret

grafana启动后。在浏览器中打开http://ip:3000

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0MjUyNjMxNS0xOTM0NjY1MjE4LnBuZw][]

**登录后，grafana将引导我们配置Data source**

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0MjcxMzQ0MC0yOTU2OTExNzkucG5n][]

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0MzAxNDU1MC0xNjcxMDAyNTY2LnBuZw][]

**Name为data source命名**

**例如：prometheus**

**Type选择prometheus**

**Url输入：prometheus server的地址：http://ip:9090**

**其他值保持默认，点击add**

**现在grafana就可以访问prometheus server中存放的数据了，那么如何让展示呢？**

**grafana是通过dashboard展示数据的，在dashboard中需要定义**

**1.展示prometheus的那些数据？需要给出具体的查询语句表达式**

**2.用什么形式展示，比如：二维线性图，仪表图，各种坐标的含义**

**可见要做出一个dashboard也是一件不容易的事情。还好，我们可以借助开源社区的力量，直接俄使用现成的dashboard。**

**访问：https://grafana.com/dashboards?dataSource=prometheus&search=docker**

**，将会看到很多用于监控docker的dashboard**

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NDcwNTEyOC0xNjc1NDAwOTIxLnBuZw][]

我们可以下载现成的dashboard，然后import到我们的grafana中就可以直接使用了。

比如：下载一个Docker and system monitoring，得到一个json文件

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTIyODQ4Ny02MDM1NjUzNTMucG5n][]

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTEyNzk0MC0xMjM0NjAxODM1LnBuZw][]

**点击gafana左上角菜单：dashboard->import**

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTQyOTg5NC0xNjI3MTc4MTI4LnBuZw][]

**导入我们下载得json文件**

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTYwMTg0Ny0xMzA3NDg5NzMwLnBuZw][]

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTYzNDUwMy02NjAyNTA5MTgucG5n][]

**dashboard将立刻展示出漂亮得图表**

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA1MDM1OTcwNi05NzkxNjc3NzQucG5n][]

**在这个dashboard中，上部分是host数据，我们可以通过Node切换不同得host**

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA1MDUzOTA2NS0xNDAzMzM5NzQ0LnBuZw][]

**Dashboard得下班部分展示的是所有容器监控数据。grafana的dashboard是可以交互的，我们可以在图表上只显示指定的容器，选取指定的时间区间，重新组织和排列图表，调整刷新频率，功能非常强大！**

[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyNzE5MjExNjgzMS0xOTk0MzY1ODY0LnBuZw]: /images/20211129/6cc69cf669884b5686c020130fa31fe5.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyNzE5NDU1OTE3NS0xNDMyMDM4NTQ1LnBuZw]: /images/20211129/ee01c459110e42d4a63078ffd39c582f.png
[20190722102942532.png]: /images/20211129/3c65ac8461a64931bfa993c115b3acb3.png
[20190722103036397.png]: /images/20211129/886b524a56374bfaa2730f8f68ba29a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70]: /images/20211129/896a789af9084173ac9ca09f82d77f6c.png
[20190722103950334.png]: /images/20211129/8429ae31b1c44c06985515aac9234a05.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 1]: /images/20211129/b7a2e20e80a74097a7c9f5cc42fd0216.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 2]: /images/20211129/313ea927b5d94e8ea351e8dbd70e5781.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 3]: /images/20211129/160b4f1736fe4af4bb40f3516d79bcaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM4NDMyNzMy_size_16_color_FFFFFF_t_70 4]: /images/20211129/4f548921f5574d10a56b105bbe66f5bd.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0MjUyNjMxNS0xOTM0NjY1MjE4LnBuZw]: /images/20211129/711f936e027e44e4a09c300efc34c7ce.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0MjcxMzQ0MC0yOTU2OTExNzkucG5n]: /images/20211129/7d97f8b574c34665b22cc472e1a50204.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0MzAxNDU1MC0xNjcxMDAyNTY2LnBuZw]: /images/20211129/e8d6e7597cf34cfb987f3ccb7b77c829.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NDcwNTEyOC0xNjc1NDAwOTIxLnBuZw]: /images/20211129/ae1c50335ac3439a88e090b974283d55.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTIyODQ4Ny02MDM1NjUzNTMucG5n]: /images/20211129/b2b60b6294634fe5a9b8302c11adc685.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTEyNzk0MC0xMjM0NjAxODM1LnBuZw]: /images/20211129/e5b0b36a4afc40e08b753eb9aca6a321.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTQyOTg5NC0xNjI3MTc4MTI4LnBuZw]: /images/20211129/b5ccd907e1ee4352b9824f67a7245af3.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTYwMTg0Ny0xMzA3NDg5NzMwLnBuZw]: /images/20211129/4f6a37bb805f4697887252ec4063e03e.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA0NTYzNDUwMy02NjAyNTA5MTgucG5n]: /images/20211129/8d01bc54317b430383a84afc2838d398.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA1MDM1OTcwNi05NzkxNjc3NzQucG5n]: /images/20211129/13969af1cb904273aab3c20fe5254b23.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIwNTY5OS8yMDE3MTEvMTIwNTY5OS0yMDE3MTEyODA1MDUzOTA2NS0xNDAzMzM5NzQ0LnBuZw]: /images/20211129/8539dc08caca4c7d85bf86d9e839cd59.png