搭建前端监控系统（五）Nodejs + RabbitMq 搭建消息队列，处理高并发问题

本是古典何须时尚 2022-01-09 10:45 641阅读 0赞

背景：市面上的监控系统有很多，大多收费，对于小型前端项目来说，必然是痛点。另一点主要原因是，功能虽然通用，却未必能够满足我们自己的需求, 所以我们自给自足也许是个不错的办法。

这是搭建前端监控系统的第五章，主要是介绍如何处理日志高并发上传的情况，跟着我一步步做，你也能搭建出一个属于自己的前端监控系统。

***　　请移步线上：* [前端监控系统][Link 1]**

**　　**随着监控日志搜集的内容越来越多，终于，由于公司的一波推文，导致了日志的瞬间流量达到历史新高，以至于mysql无法处理如此多的连接，系统崩溃。 当然，作为日志上传的服务器，这个是必然会发生的情况，只是早晚的问题。 既然出现了并发问题，那么我们就着手来处理吧。日志上传如何缓解高并发的情况呢？我们分为三个小点来处理。

*  ### 　　增加日志上传的时间间隔 ###

正如我们所知，日志上传的时间间隔越长，用户在这个间隔内离开的几率就会越大，日志的漏传量就会增加，然后会导致日志的准确度降低。因为我们的探针是安插在浏览器内的，用户随时都有可能关掉，所以，理论上讲间隔越短越好，但这并不现实。所以这个需要在服务器的承受能力和日志的准确率之间做个权衡。由具体情况而定

*  ### 　　移除探针代码里冗余的参数，缩短参数名字的长度 ###

另外一点，每台服务器的硬盘有限，带宽有限，如果参数名字太长，参数内容冗余，对服务器的硬盘和带宽都是一种极大的浪费。虽然每条日志都不起眼，但是日志起量了以后，就是会是一笔非常庞大的开销。

*  ### 　　Nodejs + RabbitMq 搭建消息队列，缓解瞬间并发量　　 ###

对于一个前端来说，要把消息队列搭建起来还确实费了一番周折。

1） ubantu16 安装RabbitMQ服务软件包，很多教程都要求安装erlang, 但是更新apt以后，直接执行安装命令，会自动安装erlang的核心组件的。（erlang始终无法成功安装，真心累。）

$ apt-get update
    $ apt-get install rabbitmq-server

正常情况下是直接成功的，直接访问ip端口号就可以打开了 http://IP:15672, 如下图：

![712333-20190610221707218-1026224601.png][]

2）现在我们需要一个有效的登录名和密码，执行如下命令

$ rabbitmqctl add_user username password  // 设置用户名密码
    $ rabbitmqctl set_user_tags username administrator  // 设置为管理员身份
    $ rabbitmqctl set_permissions -p / username ".*" ".*" ".*"  //为用户设置读写等权限

OK, 现在我们登录进来就是这样的界面，如此消息队列服务我们算是搭建完成了。

![712333-20190610222557551-1638294488.png][]

3）消息服务启动了，那么如何存消息，如何取消息呢？如下图所示：

![712333-20190610222932970-138520367.png][]![712333-20190610223007174-1542628444.png][]

我能够接触到的关于消息队列的应用场景实在有限，所以不能介绍更复杂的内容，大致的思维逻辑如上图1：有消息进来，先存入消息队列里，另一端再从队列去取出来，完成接下来的工作。从代码的角度来看如上图2：就是一个生产者和消费者的模式，生产者不停的向消息队列里生产消息，消费者在有需要的时候，从消息队列里取消息， 一旦完成消费，队列里便移除这个消息。消息的生产者和消费者互相没有感知，生产者产生过剩的消息都存放在消息队列里，由消费者慢慢消耗。以此来削峰填谷，达到处理高并发的目的。当然这都是我的浅显理解，但是也足以满足目前日志上传的需求了。

OK、理论说完了，具体如何实现呢？

**消息队列测试：**每隔5秒发送一条消息，每隔5秒取出一条消息，成功

var mq = new RabbitMQ()
    setInterval(function () {
      mq.sendQueueMsg("queue1", "这是一个队列消息", function (err) {
        console.log(err)
      })
    }, 5000)
    
    setInterval(function () {
      mq.receiveQueueMsg("queue1", function (msg) {
        console.log(msg)
      }, function (error) {
        console.log(error)
      })
    }, 5000)

**RabbitMq消息队列使用中遇到的坑：**

**①** var mq = new RabbitMQ() 多次创建RabbitMQ对象，导致connections, channels, memory 暴增，服务器很快挂掉

② 生产者的channel忘记close, 导致channel太多，服务器超负荷

③ 消费者的channel被close掉了，永远只能接收到一条消息，消息队列很快爆掉

最后是消息队列运行的状态：

![712333-20190611001559795-51447795.png][]

OK、经过了这么一番处理，我们的日志上传应该能够承受住一定量的并发了，让我们拭目以待吧。

上一章：[搭建前端监控系统（四）接口请求异常监控篇][Link 2]

参考： [架构设计之NodeJS操作消息队列RabbitMQ][NodeJS_RabbitMQ] [Ubuntu上安装和使用RabbitMQ][Ubuntu_RabbitMQ]

转载于:https://www.cnblogs.com/warm-stranger/p/11000996.html

[Link 1]: https://link.zhihu.com/?target=https%3A//www.webfunny.cn/%3Fsource%3D1
[712333-20190610221707218-1026224601.png]: /images/20220109/3c628acc4d3f4aaaad6dedccc2a9cc67.png
[712333-20190610222557551-1638294488.png]: /images/20220109/3cbcde56c35d4b36946be2b9034ba68b.png
[712333-20190610222932970-138520367.png]: https://img2018.cnblogs.com/blog/712333/201906/712333-20190610222932970-138520367.png
[712333-20190610223007174-1542628444.png]: /images/20220109/c53b53043051488598dd44a218edfe53.png
[712333-20190611001559795-51447795.png]: /images/20220109/35e7d2568abe4fc29f3d5547854d4984.png
[Link 2]: https://www.cnblogs.com/warm-stranger/p/11001077.html
[NodeJS_RabbitMQ]: https://www.cnblogs.com/wukong-holmes/p/9306733.html
[Ubuntu_RabbitMQ]: https://www.cnblogs.com/liuchuanfeng/p/6813205.html