ClickHouse监控系统Prometheus+Grafana

红太狼 2024-03-23 16:14 23阅读 0赞

#### 目录 ####

*  1 Prometheus+Grafana概述
 *  2 安装Prometheus + Grafana
 *  3 配置ClickHouse
 *  4 配置Grafana

--------------------

## 1 Prometheus+Grafana概述 ##

![在这里插入图片描述][1a884b4b0bf7463293dc9c083d5b05a0.png]

ClickHouse 运行时会将一些个自身的运行状态记录到众多系统表中( system.\*)。所以我们对于 CH 自身的一些运行指标的监控数据，也主要来自这些系统表。  
但是直接查询这些系统表会有一些不足之处：

*  这种方式太过底层，不够直观，我们还需要在此之上实现可视化展示；
 *  系统表只记录了 CH 自己的运行指标，有些时候我们需要外部系统的指标进行关联分析，例如 ZooKeeper、服务器 CPU、IO 等等。

现在 Prometheus + Grafana 的组合比较流行，安装简单易上手，可以集成很多框架，包括服务器的负载, 其中 Prometheus 负责收集各类系统的运行指标; Grafana 负责可视化的部分。  
ClickHouse 从 v20.1.2.4 开始，内置了对接 Prometheus 的功能，配置的方式也很简单,可以将其作为 Prometheus 的 Endpoint 服务，从而自动的将 metrics 、 events 和asynchronous\_metrics 三张系统的表的数据发送给 Prometheus。

## 2 安装Prometheus + Grafana ##

**下载地址**  
Prometheus 下载地址：`https://prometheus.io/download/`  
Grafana 下载地址：`https://grafana.com/grafana/download`

**安装Prometheus**  
Prometheus 是基于 Golang 语言编写，编译后的软件包，不依赖于任何的第三方依赖。只需要 下载对应平台的二进制包，解压并且添加基本的配置即可正常启动 Prometheus Server。

将已下载好的prometheus-2.30.3.linux-amd64.tar.gz上传到/opt/software/，然后解压更名：

# 解压
    tar -zxvf prometheus-2.30.3.linux-amd64.tar.gz
    
    # 改名
    mv prometheus-2.30.3.linux-amd64 prometheus

修改配置文件：

# 切换路径
    cd prometheus
    # 编辑配置文件
    vim prometheus.yml
    
    # 控制 Prometheus 服务器的全局配置
    global:
      scrape_interval: 15s # 将抓取间隔设置为每 15 秒一次。 默认为每 1 分钟一次。
      evaluation_interval: 15s # 每 15 秒评估一次规则。 默认为每 1 分钟一次
      # scrape_timeout 设置为全局默认值（10 秒）。
    
    # 警报配置
    alerting:
      alertmanagers:
        - static_configs:
            - targets:
              # - alertmanager:9093
    
    # 规则配置文件
    # 加载规则并根据全局 "evaluation_interval" 定期评估
    rule_files:
      # - "first_rules.yml"
      # - "second_rules.yml"
    
    # 配置采集目标相关， prometheus 监视的目标。
    # Prometheus 自身的运行信息可以通过 HTTP 访问，所以 Prometheus 可以监控自己的运行数据。
    scrape_configs:
      # 监控作业的名称 
      - job_name: 'prometheus'
    
        # metrics_path defaults to '/metrics'
        # 表示静态目标配置，就是固定从某个 target 拉取数据
        # 默认方案为 HTTP
        static_configs:
          - targets: ['localhost:9090']
    
      # 添加如下 clickhouse 监控
      - job_name: 'clickhouse-1'
        static_configs:
        - targets: ['node2:9363'] 
    # 默认端口号为 9396，要跟 clickhouse 的配置相同

因为是yml文件，所以缩进特别严格，每个缩进代表不同层级，需要注意。

启动：

# 前台启动
    ./prometheus --config.file=prometheus.yml
    
    # 后台启动
    nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 &

访问 webUI 页面：

http://node2:9090

**安装Grafana**  
Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。

将grafana-enterprise-8.2.1.linux-amd64.tar.gz上传到/opt/software/，然后解压、更名：

tar zxvf grafana-enterprise-8.2.1.linux-amd64.tar.gz

启动 Grafana:

# 转到 grafana 文件夹
    cd grafana-8.2.1/
    
    # 前台启动
    bin/grafana-server web
    
    # 后台启动
     nohup ./bin/grafana-server web > ./grafana.log 2>&1 &

打开 web UI:

http://node2:3000

账号名与密码默认 admin

## 3 配置ClickHouse ##

修改配置文件

vim /etc/clickhouse-server/config.xml

将下面内容的注释打开

<prometheus>
       <endpoint>/metrics</endpoint>
       <port>9363</port>
    
       <metrics>true</metrics>
       <events>true</events>
       <asynchronous_metrics>true</asynchronous_metrics>
       <status_info>true</status_info>
     </prometheus>

如果有多个节点，需要在每个节点都进行配置。  
因为改了配置文件，配置完成之后需要重启 clickhouse生效。

网页访问hadoop1:9363/metrics，能看到相关信息就说明好了。当然显示的数据不方便看，这也是使用Prometheus+Grafana的意义所在。

## 4 配置Grafana ##

**添加Prometheus数据源**  
点击左侧齿轮logo，选择Data sources，点击Add data source

![img][]

![img][img 1]

之后在搜索框中搜索Prometheus，然后点击select

![img][img 2]

然后参考下图进行配置修改：

![img][img 3]

提示Data source is working则说明正常。

接下来创建可视化页面，可以自己创建 Dashboard 添加需要监控的指标：  
左侧点击加号，选择Dashboard

![img][img 4]

添加一个新的仪表板：

![img][img 5]

添加监控指标：

![img][img 6]

但手动添加指标太慢，需要很久才能将所需的指标都添加完成，并且需要一定的经验，否则会遗漏一些重要指标，这里推荐使用clickhouse监控模板，可以到 [https://grafana.com/dashboards][https_grafana.com_dashboards] 网站，找到大量可直接使用的 Dashboard 模板。

Grafana 中所有的 Dashboard 通过 JSON 进行共享，下载并且导入这些 JSON 文件，就可 以直接使用这些已经定义好的 Dashboard。

![img][img 7]

下载模板：  
注意不一定下载量越多越好，还要注意一下更新日期

![img][img 8]

或

![img][img 9]

导入模板：

![img][img 10]

![img][img 11]

设置数据源：

![img][img 12]

可以看到模板中的监控指标：

![img][img 13]

[1a884b4b0bf7463293dc9c083d5b05a0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/5445b61c86a347c080302115a948ef40.png
[img]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/29315dd4be8442c38f77938862db1e22.png
[img 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/31454d599a454947bfdae92ad7b139fc.png
[img 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/08b29eb585d84601bf91f6c2b4a18d0e.png
[img 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/d1708386cdc3442b9cd6037b926275d4.png
[img 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/28d74d5abf45436bbe0f61522a6743b9.png
[img 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/4653404650824ef3be0afbee1cfcbdb3.png
[img 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/ff6b5ee2fca44ded8e7a73ea39635a82.png
[https_grafana.com_dashboards]: https://links.jianshu.com/go?to=https%3A%2F%2Fgrafana.com%2Fdashboards
[img 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/e92d48e367f74ad39abca236b24c679c.png
[img 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/07f85cecfccb439bbdbfd46c925fb6cd.png
[img 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/b3538d560abc4c1c97fba6b455e62db7.png
[img 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/14f08534eaf0491d8d02315205e3f49c.png
[img 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/0d78d86176b14f8296d970f2efe5d52f.png
[img 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/8b5dab0b3999496b80e57d6c03e499a5.png
[img 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/cf56430f92a64099aa2ea1341d496e82.png