一种分布式系统中定时任务的解决思路和框架

迷南。 2022-06-15 02:29 135阅读 0赞

一种分布式系统中定时任务的解决思路和框架

在分布式系统中，经常有周期性地执行数据采集、统计、推送等等的场景。一个业务系统的后台可能存在很多不同种类、不同粒度的周期性任务，而且它们分布在不同的服务器节点中执行。

业界比较常见的解决思路：

1. 利用linux crontab或windows计划任务定时执行一段脚本或程序；

2. 自编程序中实现定时器，定时触发相关任务的执行；

但是上述方案在碰到有大量的、不同粒度的定时任务时会碰到问题：

1. 如何解决高可用？

2. 如何支持水平扩展？

显然如果我们仅在一个服务器节点上起定时器势必形成单点。那么如果简单地在多台服务器节点上起服务呢？那么同样的任务会被执行多次，虽解决了单点问题，但一次任务被执行多次势必造成性能的浪费，且当业务压力增大时无法进行水平扩展；同时，有些业务在同一时刻不能同时执行，这涉及锁的问题。

下面给出一个比较通用的分布式系统中的定时任务的执行框架实现：

![alt][]

1. 将定时任务触发器进行抽象成可独立部署的分布式定时服务Jobschedular

不是抽象成程序模块，而是可独立部署的分布式定时服务。该服务通过配置可支持不同种类、针对不同对象粒度、不同执行周期的定时性计划任务。

Jobschedular根据计划任务的定义，周期性地触发针对某个对象的作业（job）。Jobschedular自身采用主备方式实现高可用，由于它本身只负责产生job，不负责执行job，因此不会用性能压力，没有水平扩展的需求。

2. 通过redis分布式队列分发定时作业

Jobschedular定时生成的作业统一发送到作为分布式队列角色的redis服务器中。Jobschedular和redis之间可通过LVS实现负责均衡和高可用，也可以让Jobschedular随机写入到redis集群中的任意redis节点中。

3. 一组jobexecuter负责执行job

一组或多组实现具体业务的jobexecuter服务，负责从redis集群中实时地从redis集群中pop出job并执行之。这些jobexecuter服务可根据业务的不同实现为不同的服务，根据性能压力分布在数量不等的服务器节点中，以自动负载均衡的方式实现了高可用和水平扩展。

[alt]: /images/20220615/b2de2e125c7649af831e160e69a10742.png

发表评论取消回复

表情：

评论列表（有 0 条评论，135人围观）

还没有评论，来说两句吧...

相关阅读

相关分布式定时任务框架Quartz总结和实践

一、概述 Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目，它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quar

我会带着你远行/ 2023年10月14日 18:25/ 0 赞/ 86 阅读

相关分布式定时任务框架选型

我们先思考下面几个业务场景的解决方案: 支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算电商整点抢购，商品价格8点整开始优惠 12306购票

爱被打了一巴掌/ 2023年09月28日 20:00/ 0 赞/ 60 阅读

相关分布式定时任务框架选型

目录 1. 前言 2. 定时任务框架 3. 分布式任务调度系统对比 4. 和quartz框架对比 5. 综合对比 6. 总结和结论 7. 附定时任务的其他方案

Love The Way You Lie/ 2023年09月27日 14:07/ 0 赞/ 172 阅读

相关分布式定时任务框架选型

为什么我们需要定时任务我们先思考下面几个业务场景的解决方案: 支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算电商整点抢购，商品价格8点整开始

电玩女神/ 2023年09月26日 17:10/ 0 赞/ 167 阅读

相关分布式定时任务

一、开源框架 1、`elastic-job` 介绍： Elastic-Job是一个分布式计划解决方案，由两个独立的项目Lite和Cloud组成。 Elastic-Jo

古城微笑少年丶/ 2023年03月12日 10:59/ 0 赞/ 87 阅读

相关 java分布式定时任务_分布式定时任务——elastic-job

在我们的项目当中，使用定时任务是避免不了的，我们在部署定时任务时，通常只部署一台机器。当部署多台机器时，同一个任务会执行多次。比如下面这个场景，“短信提醒”，每天定时的给用户下

痛定思痛。/ 2022年11月05日 15:56/ 0 赞/ 366 阅读

相关一种分布式系统中定时任务的解决思路和框架

一种分布式系统中定时任务的解决思路和框架在分布式系统中，经常有周期性地执行数据采集、统计、推送等等的场景。一个业务系统的后台可能存在很多不同种类、不同

迷南。/ 2022年06月15日 02:29/ 0 赞/ 136 阅读

相关定时任务项目的设计思路

定时任务项目的设计思路： 1，进程锁 2，任务的启动：（利用spring的@PostConstruct初始化后立即触发）

一时失言乱红尘/ 2022年04月06日 14:48/ 0 赞/ 269 阅读

相关几种主流的定时分布式任务

单机定式任务调度的问题在很多应用系统中我们常常要定时执行一些任务。比如，订单系统的超时状态判断、缓存数据的定时更新、定式给用户发邮件，甚至是一些定期计算的报表等等。常见

叁歲伎倆/ 2022年03月18日 10:37/ 0 赞/ 385 阅读

相关分布式系统中的定时任务全解（四）--补充

概述这个系列计划里面是只有3篇，但是在后续使用的过程中发现了新的问题，以及发现了一个很重要但是没有写上的部分。遇到的问题是在服务器上运行时，有可能是服务器的CPU和...

小灰灰/ 2021年04月13日 17:39/ 0 赞/ 377 阅读