[问题已处理]-使用Grafana告警解决阿里云日志服务邮件告警上限问题

Dear 丶 2023-02-24 11:23 23阅读 0赞

目前公司使用阿里云的日志服务 取代了原先的efk。但是告警方式邮件的话最多只能给一个用户发50封，CTO希望看邮件平时钉钉不怎么看，下班更不会看。打算使用Grafana的告警 来触发邮件告警。不想自己开发webhook ，有老哥乐意让我白嫖一下代码的话 就谢谢了。

##### 首先在Grafana界面加入 阿里云的LogService #####

可参考

https://help.aliyun.com/document\_detail/60952.html?spm=a2c4g.11186623.6.1205.63384eb1eh4nI1

##### 需要安装sdk 并重启 Grafana服务 #####

下载慢的可以通过百度云下载

链接: https://pan.baidu.com/s/1XwM\_jaqGDo0MVfrUOBddDQ 密码: uqnj

把插件放到Grafana的插件路径里 最好看下自己配置文件里插件的路径

cd /var/lib/grafana/plugins/
    git clone https://github.com/aliyun/aliyun-log-grafana-datasource-plugin
    service grafana-server restart

##### 创建一个dashboard #####

##### 选择添加一个数据源LogService #####

![format_png][]

##### 配置并填写相关信息 #####

![format_png 1][]

相关信息 可以在自己日志服务里看到

![format_png 2][]

上述配置需要的access key 需要手动创建

![format_png 3][]

##### 添加一个logs类型的Panel 可供开发查看日志 #####

![format_png 4][]

1数据源选择自己配置的LogService的project

2 填写自定义Query

select * from prod-error where level='ERROR'

![format_png 5][]

![format_png 6][]

因为logs这个图 没有alert 告警的配置 所以需要配置一个可以触发告警的试图。

##### 添加一个Graph #####

query最好先在日志服务测试一下

![format_png 7][]

##### 配置视图 #####

![format_png 8][]

Query

level:ERROR | SELECT  COUNT(*)    as c ,  __time__ as t  group  by  t order by t limit 1000

![format_png 9][]

每分钟查询一次，持续一分钟告警。

![format_png 10][]

![format_png 11][]

##### 保存 #####

##### 告警触发成功 #####

![format_png 12][]

![format_png 13][]

##### 最后dashboard展示 #####

![format_png 14][]

有点遗憾 就是没法把当时发生告警的时间戳随message里的url传出来，当告警发生一段时间之后 点进去看到的告警仍旧是最近15分钟。

[format_png]: /images/20230209/17b6ad9b949a490bae4018fcc4748020.png
[format_png 1]: /images/20230209/d7cf7d8401d845d1abb14a2b332f3788.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA3MTUzMDE2LnBuZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA3MTUzMTQ5LnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA3MTUzNTU1LnBuZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MjE0NDQ1LnBuZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MjE0NTM1LnBuZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MTczMzU4LnBuZw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MjE0ODU3LnBuZw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MjE1MjQxLnBuZw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA5MDk1OTExLnBuZw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MjE1NTI4LnBuZw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MTcyNzMxLnBuZw?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MTcyNzA4LnBuZw?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNzA4MjE1NzUyLnBuZw?x-oss-process=image/format,png