运维监控系列（15）-Alertmanager添加163邮箱、钉钉、微信告警通知功能

短命女 2023-10-09 13:30 73阅读 0赞

### 163邮箱 ###

可用通过邮件方式进行告警通知的发送，接着上篇文档，我们配置发送邮件告警方式。

#### 1. 设置163邮箱 ####

发送邮件，需要smtp邮件服务器，首先需要对网易邮箱进行设置。

首先登陆163邮箱，进入邮箱中心设置。![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_9_color_FFFFFF_t_70_g_se_x_16]  
然后开启POP3/SMTP服务，这里需要扫描二维码发送短信验证。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16]  
开通成功后，会显示一个授权密码，Alertmanager发送邮件，需要使用这个密码，而不是163邮箱的登录密码。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 1]

### 2. alertmanager.yml配置文件添加邮件通知 ###

global中添加smtp相关配置。

# 全局配置,包括报警解决后的超时时间、SMTP 相关配置、各种渠道通知的 API 地址等等。
    global:
      # 告警超时时间
      resolve_timeout: 5m
      # 发送者邮箱地址
      smtp_from: 'xx@163.com' 
      # 邮箱smtp服务器地址及端口  
      smtp_smarthost: 'smtp.163.com:25'  
      # 发送者邮箱账号
      smtp_auth_username: 'xx@163.com'  
      # 发送者邮箱密码，这里填入第一步中获取的授权码
      smtp_auth_password: 'wWIXMAZCNBMW'
      # 是否使用tls 
      smtp_require_tls: false
      smtp_hello: '163.com'
    # 路由配置,设置报警的分发策略，它是一个树状结构，按照深度优先从左向右的顺序进行匹配。
    route:
      # 用于将传入警报分组在一起的标签。
      # 基于告警中包含的标签，如果满足group_by中定义标签名称，那么这些告警将会合并为一个通知发送给接收器。
      group_by: ['alertname']
      # 发送通知的初始等待时间
      group_wait: 30s
      # 在发送有关新警报的通知之前需要等待多长时间 
      group_interval: 5m
      # 如果已发送通知，则在再次发送通知之前要等待多长时间，通常约3小时或更长时间
      repeat_interval: 30s
      # 接受者名称
      receiver: '163.email'
    # 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式
    receivers:
    - name: '163.email'
      email_configs:
      # 配置接受邮箱地址
      - to : 'xxx@163.com'

#### 3. 测试 ####

重启Alertmanager，查看控制台，已接收到Nacos告警通知。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 2]

查看163邮箱，发现接受到了邮件。  
![在这里插入图片描述][4291f7846f08465da915e67b232350ff.png]  
点看邮件，可以看到详细信息。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 3]

#### 4. 配置邮件模板 ####

在第三步，成功接收到了邮件，但是格式比较乱，这里可以使用邮件模板，Alertmanager 带有默认模板，可以自定义。后面的钉钉和微信都是可以自定义模板的，步骤差不多，就不赘述了。

Alertmanager 的通知模板基于Go 模板系统，具体支持哪些变量请参照[官网说明][Link 1]。

首先我们在Alertmanager主目录下创建一个templates文件夹，用户存放模板文件，然后创建一个email.tmpl文件，写入以下内容：

{
 {
 define "email.html" }}
 {
 {
 range .Alerts }}
 告警程序: prometheus_alert 
 告警级别: {
 {
 .Labels.severity }} 级 
 告警类型: {
 {
 .Labels.alertname }} 
 故障主机: {
 {
 .Labels.instance }} 
 告警主题: {
 {
 .Annotations.summary }} 
 告警详情: {
 {
 .Annotations.description }} 
 触发时间: {
 {
 .StartsAt.Format "2019-08-04 16:58:15" }} 
 {
 {
 end }}
 {
 {
 end }}

然后在alertmanager.yml中添加模板扫描，及邮件使用模板。

# 配置自定义模板位置
    templates:
      - 'templates/*.tmpl'
    # 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式
    receivers:
    - name: '163.email'
      email_configs:
      # 配置接受邮箱地址
      - to : 'xx@163.com'
        html: '{
        { template "email.html" . }}'
        # 邮件主题信息 
        headers: {
        Subject: "[WARN] 报警邮件 {
        { .CommonLabels.instance }} {
        { .CommonAnnotations.summary }}"}

重启Alertmanager，稍后查看邮件。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 4]

### 钉钉告警 ###

#### 1. 创建钉钉机器人 ####

[参考钉钉开发官网][Link 2]添加钉钉机器人，并记录好点前的Webhook地址。

添加机器人时的安全设置，这里选择加签，将生成的秘钥复制出来。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
最后生成一个Webhook。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 6]

#### 2. 安装prometheus-webhook-dingtalk ####

alertmanager的webhook集成了钉钉报警，所以他是本来就有的。但是钉钉对格式要求很严格，一会还需要使用插件进行格式转换。

prometheus-webhook-dingtalk是Prometheus AlertManager WebHooks生成钉钉通知工具。

[下载系统对应的安装包。][Link 3]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 7]  
到安装包位置，将config.yml.example重命名为config.yml，删除掉全部默认配置，添加以下内容：

targets:
      ding_webhook:
        # 钉钉webhook地址
        url: https://oapi.dingtalk.com/robot/send?access_token=a8a5c0ecea3a027de77812df0bcc0fd0d5c73cfaebebecbd35
        # 第一步中获取到的加签秘钥
        secret: SEC8bd856c89e0635798828a0fa8ff1d26403df25fd925657

启动prometheus-webhook-dingtalk.exe程序，查看打印日志，可以看到图中1为Alertmanager提供了Webhook地址，2为启动端口。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 8]

#### 3. 配置Alertmanager ####

修改alertmanager.yml配置文件，添加路由和接受者配置，注意url填写钉钉插件提供的webhook地址，而不是钉钉直接提供的那个webhook。

route:
      #设置默认接收人
      receiver: 'webhook'
      #组告警等待时间。也就是告警产生后等待10s，如果有同组告警一起发出
      group_wait: 10s
      #两组告警的间隔时间
      group_interval: 10s
      #重复告警的间隔时间，减少相同微信告警的发送频率
      repeat_interval: 30s
      #采用哪个标签来作为分组依据
      group_by: [alertname]
      routes:
      - receiver: webhook
        group_wait: 10s
    # 配置自定义模板位置
    templates:
      - 'templates/*.tmpl'
    # 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式
    receivers:
    - name: 'webhook'
      webhook_configs:
      # 钉钉插件提供的webhook地址
      - url: http://localhost:8060/dingtalk/ding_webhook/send
        #警报被解决之后是否通知
        send_resolved: true

然后启动Alertmanager。关闭Nacos，然后发现成功推送了钉钉告警信息。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_15_color_FFFFFF_t_70_g_se_x_16]

### 微信告警 ###

#### 1. 注册企业微信 ####

[注册地址][Link 4]，没有的可以随便填个公司名注册一个。

注册完成后在应用管理菜单中，点击创建应用。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 9]  
添加应用信息  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_19_color_FFFFFF_t_70_g_se_x_16]  
创建成功后，查看Secret，这里会发送到企业微信，然后再复制到电脑上来。。。。对应api\_secret配置项。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 10]

#### 2. Alertmanager添加wechat通知 ####

注册了企业微信，添加应用之后就可以添加微信通知配置了。

官网说明中的配置如下：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 11]  
[企业微信官方API文档][API]参数说明如下：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 12]

结合这些说明，添加如下配置就可以了（不要被百度那些水文误导了。。）

route:
      #设置默认接收人
      receiver: 'wechat'
      #组告警等待时间。也就是告警产生后等待10s，如果有同组告警一起发出
      group_wait: 10s
      #两组告警的间隔时间
      group_interval: 10s
      #重复告警的间隔时间，减少相同微信告警的发送频率
      repeat_interval: 30s
      #采用哪个标签来作为分组依据
      group_by: [alertname]
    # 配置自定义模板位置
    templates:
      - 'templates/*.tmpl'
    # 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式
    receivers:
    - name: 'wechat'
      wechat_configs:
      - send_resolved: true
        # 创建应用的 AgentId
        agent_id: 100xx
        # 企业 id，可以在企业微信管理后台，我的企业 - 企业 ID 查看
        corp_id: 'd1f14ffea0a01a'
        # 应用的 Secret
        api_secret: 'ncqlL0egmjFTjFlPKKycLOvARwesqB4'
        # 指定需要接收告警的用户，@all表示全部
        to_user: '@all'

#### 3. 测试 ####

重启Alertmanager，稍等片刻，就发现手机企业微信收到了告警通知消息。。。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_16_color_FFFFFF_t_70_g_se_x_16]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_9_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/54bb305400fc46e1997182299df12ae8.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_9,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/678b3cff55c143f2a89a61599083e416.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/45778c6e9b8246e3b2b0c02a143dd11d.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/f77b2703ec0641deb94c4aac56a5fbf9.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[4291f7846f08465da915e67b232350ff.png]: https://img-blog.csdnimg.cn/4291f7846f08465da915e67b232350ff.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/13105dd568e34d559f3ca0d27e4806c0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 1]: https://prometheus.io/docs/alerting/latest/notifications/
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/dac9b292bf654229a8a3a5af871d388c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 2]: https://www.dingtalk.com/qidian/help-detail-20781541.html
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/8c26a7a1fd1f47faa34ffab8247824af.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/b7950c05e1a948c5bd280a54bf813861.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 3]: https://github.com/timonwong/prometheus-webhook-dingtalk/releases/tag/v2.0.0
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/538412f3052c4d99b64ca374f507ee0a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/8b81ef64c5d444e4807ee302e53dd0b6.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_15_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/86caa800c3ac470880c1783396dada51.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_15,color_FFFFFF,t_70,g_se,x_16
[Link 4]: https://work.weixin.qq.com
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/facd933dfe2c48e694c1fc4e76c225b9.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_19_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/3717b2fc5fd942ea9b147ba3a4a3b618.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_19,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 10]: https://img-blog.csdnimg.cn/a3fdf79fa86c47fab5bbe4d928d478fd.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/d6be98310b484dfbbfcbdac4525ceec1.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[API]: https://work.weixin.qq.com/api/doc/90002/90151/90854
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 12]: https://img-blog.csdnimg.cn/b91372059b5b45d6b99f209f9df9529e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_16_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/7a8e42d97ca54879a25b4483a892ff29.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_16,color_FFFFFF,t_70,g_se,x_16