分布式定时任务调度

待我称王封你为后i 2023-06-11 05:21 75阅读 0赞

# 前言 #

**什么是分布式定时任务?**

把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。叫做分布式定时任务。

**为什么要采用分布式定时任务？**

单点定时任务的缺点:

*  功能相对简单，交互性差，任务部署效率低，开发和维护成本比较高，不能很好的满足各系统定时任务的管理和控制，尤其在多系统的环境下更加明显；
 *  许多任务都是单机部署，可用性差；
 *  任务跟踪和告警难以实现。

分布式定时任务的优势：

*  通过集群的方式进行管理调度，大大降低了开发和维护成本；
 *  分布式部署，保证了系统的高可用性，伸缩性，负载均衡，提高了容错；
 *  可以通过控制台部署和管理定时任务，方便灵活高效；
 *  任务都可以持久化到数据库，避免了宕机和数据丢失带来的隐患，同时有完善的任务失败重做机制和详细的任务跟踪及告警策略。

# 1 基础框架Quartz和其设计方案 #

## 1.1 quartz ##

quartz 集群中每个节点都是一个单独的Quartz应用，它又管理着其他的节点。这个集群需要每个节点单独的启动或停止；和我们的应用服务器集群不同，独立的quartz 节点之间是不需要 通信的。不同节点之间是通过数据库表来感知另一个应用。只有使用持久的JobStore才能完成quartz 集群。

![format_png][]

*  Job：表示一个工作，要执行的具体内容。此接口中只有一个方法  
    `void execute(JobExecutionContext context)`
 *  JobDetail：表示一个具体的可执行的调度程序，Job是这个可执行程调度程序所要执行的内容，另外JobDetail还包含了这个任务调度的方案和策略。
 *  Trigger代表一个调度参数的配置，什么时候去调用。
 *  Scheduler代表一个调度容器，一个调度容器中可以注册多个JobDetail和Trigger。当Trigger与JobDetail组合，就可以被Scheduler容器调度了。

![format_png 1][]

上图三个节点在数据库中都拥有同一份Job定义，如果某一个节点失效，那么Job会在其他节点上执行。由于三个节点上的Job执行代码是一样的，那么怎么保证只有在一台机器上触发呢？

答案是使用了数据库锁。在quartz的集群解决方案里有张表scheduler\_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放。之后会看trigger状态，如果已经被执行了，则不会执行了。

**优点：**

保证节点高可用 （HA）， 如果某一个几点挂了， 其他节点可以顶上

**缺点：**

*  同一个任务只能有一个节点运行，其他节点将不执行任务，性能低，资源浪费
 *  当碰到大量短任务时，各个节点频繁的竞争数据库锁，节点越多这种情况越严重，造成性能会很低下
 *  quartz 的分布式仅解决了集群高可用的问题，并没有解决任务分片的问题，不能实现水平扩展，还是会有单机处理的极限

## 1.2 方案 ##

## 1.2.1 分时方案 ##

严格划分时间片，交替运行计划任务，当主系统宕机后，备用系统仍然工作，但是处理初期被拉长了。

缺点：周期延长了。

![fdf][]

## 1.2.2 HA高可用方案 ##

正常情况下主系统工作，备用系统守候，心跳检测发现主系统出现故障备用系统启动。

缺点：单一系统，不能做负载均衡，只能垂直扩展，也就是硬件层面的升级，无法做水平扩展。

![format_png 2][]

## 1.2.3 多路心跳方案 ##

采用多路心跳，做服务级，进程级的，IP和端口级别的心跳检测，正常情况是主系统工作，备用系统守候，心跳检测主系统出现故障，备用系统启动，当再次检测到主系统工作，则将执行权交回主系统。

缺点：开发比较复杂，程序健壮性要求高。

![format_png 3][]

## 1.2.4 任务抢占方案 ##

A，B两台服务器同时工作，启动需要存在一前一后，谁先启动谁率先加锁，其他服务器只能等待，他们同时对互斥锁进行监控，一旦发现锁被释放，其他服务那个先抢到，那个运行，运行前加排他锁。

优点：可以进一步实现多服务器横向扩展。

缺点：开发复杂，程序健壮性要求高，有时候会出现不释放锁的问题。

![img][]

## 1.2.5 任务轮询或任务轮询+抢占排队方案 ##

每个服务器首次启动时加入队列；

每次任务运行首先判断自己是否是当前可运行任务，如果是便运行；

如果不是当前运行的任务，检查自己是否在队列中，如果在，便推出，如果不在队列中，便键入队列。

![img][img 1]

**通过以上这些方案，可以看出1.3和1.5的方案才是优先选择的，扩展性好，开发复杂度不是很高。那么这种方案需要的需要的技术原理是什么呢，那就是分布式互斥锁和队列。**

# 2 分布式定时任务调度框架 #

## 2.1 elastic-job ##

elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 ， 它主要的设计理念是无中心化的分布式定时调度框架，思路来源于Quartz的基于数据库的高可用方案。但数据库没有分布式协调功能，所以在高可用方案的基础上增加了弹性扩容和数据分片的思路，以便于更大限度的利用分布式服务器的资源。

elastic-job由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 。

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案，额外提供资源治理、应用分发以及进程隔离等服。

*  **分片概念**：任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个或几个分片项。
 *  **中心化和去中心化的区别**：在实现难度上中心化非常高，只能实现一个调度中心，而且调度中心和作业执行的服务器之间要进行通信。而去中心化的话，实现难度比较低，没有一个中心，各个作业节点是自治的，不需要分布式的调度。第二个，部署难度，中心化稍微高一些，有一个调度中心，服务器还有一个注册中心。

去中心化有两种，一个是作业执行服务器，还有一个注册中心。触发时间统一控制，中心化是可以的，去中心化差一些，作业服务器执行的时间本身不一样的怎么办，有的公司没有问题，作业乱掉时用中心化，用各个服务器去分发调度。去中心化，每个中心都是根据自己的时钟进行作业，这是很难控制的。

**特点**

*  **定时任务**：基于成熟的定时任务作业框架Quartz cron表达式执行定时任务；
 *  **作业注册中心**：基于Zookeeper实现全局作业注册控制中心。用于注册，控制和协调分布式作业执行。
 *  **作业分片**：将要给任务分片成多个小任务项到多服务器上同时执行；
 *  **弹性扩容缩容**：运行中的作业服务器崩溃，或新增N台作业服务器，作业框架将在下次作业执行前重新分片，不影响当前作业执行；

任务监控和管理界面：Elastic-Job-Lite-Console。它和Elastic-Job-Lite是两个完全不关联的应用程序，使用ZooKeeper来交换数据，管理人员可以通过这个界面查看、监控和管理Elastic-Job-Lite的任务，必要的时候还能手动触发任务。

官方文档：[http://elasticjob.io/docs/elastic-job-lite/00-overview/][http_elasticjob.io_docs_elastic-job-lite_00-overview]

## 2.2 xxl-job ##

许雪里个人开源的一个轻量级分布式任务调度框架 ，主要分为 调度中心和执行器两部分 ， 调度中心在启动初始化的时候，会默认生成执行器的RPC代理。对象（http协议调用）， 执行器项目启动之后， 调度中心在触发定时器之后通过jobHandle 来调用执行器项目里面的代码，核心功能和elastic-job差不多，同时技术文档比较完善。

**设计思想:**

将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性。

**系统架构图：**

![70][]

**系统组成:**

*  **调度模块（调度中心）**： 负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块； 支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。
 *  **执行模块（执行器）**： 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效； 接收“调度中心”的执行请求、终止请求和日志请求等。

**与quartz对比:**

1.  有任务管理界面，操作人性化
2.  调度逻辑和QuartzJobBean任务解耦，quartz是耦合在同一个项目中的，调度任务数量逐渐增多，调度任务逻辑逐渐加重的情况下，调用系统的性能将大大受限于业务。
3.  quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务，会导致节点负载悬殊非常大；而XXL-JOB通过执行器实现“协同分配式”运行任务，充分发挥集群优势，负载各节点均衡。
4.  支持多种模式的定时任务， GLUE模式(Shell) + GLUE模式(Python) + GLUE模式(NodeJS)

官方文档：[http://www.xuxueli.com/xxl-job/\#/?id=%E3%80%8A%E5%88%86%E5%B8%83%E5%BC%8F%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0xxl-job%E3%80%8B][http_www.xuxueli.com_xxl-job_id_E3_80_8A_E5_88_86_E5_B8_83_E5_BC_8F_E4_BB_BB_E5_8A_A1_E8_B0_83_E5_BA_A6_E5_B9_B3_E5_8F_B0xxl-job_E3_80_8B]

## 2.3 对比 ##

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>quartz</th> 
   <th>elastic-job-cloud</th> 
   <th>xxl-job</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>依赖</td> 
   <td>mysql</td> 
   <td>jdk1.7+, zookeeper 3.4.6+ ,maven3.0.4+ ,mesos</td> 
   <td>mysql ,jdk1.7+ , maven3.0+</td> 
  </tr> 
  <tr> 
   <td>HA</td> 
   <td>多节点部署，通过竞争数据库锁来保证只有一个节点执行任务</td> 
   <td>通过zookeeper的注册与发现，可以动态的添加服务器。 支持水平扩容</td> 
   <td>集群部署</td> 
  </tr> 
  <tr> 
   <td>任务分片</td> 
   <td>—</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td>文档完善</td> 
   <td>完善</td> 
   <td>完善</td> 
   <td>完善</td> 
  </tr> 
  <tr> 
   <td>难易程度</td> 
   <td>简单</td> 
   <td>较复杂</td> 
   <td>简单</td> 
  </tr> 
  <tr> 
   <td>管理界面</td> 
   <td>无</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td>开发者</td> 
   <td>OpenSymphony</td> 
   <td>当当网</td> 
   <td>个人（许雪里）</td> 
  </tr> 
  <tr> 
   <td>高级功能</td> 
   <td>—</td> 
   <td>弹性扩容，多种作业模式，失效转移，运行状态收集，多线程处理数据，幂等性，容错处理，spring命名空间支持</td> 
   <td>弹性扩容，分片广播，故障转移，Rolling实时日志，GLUE（支持在线编辑代码，免发布）,任务进度监控，任务依赖，数据加密，邮件报警，运行报表，国际化</td> 
  </tr> 
  <tr> 
   <td>缺点</td> 
   <td>没有管理界面，以及不支持任务分片等。不适用于分布式场景</td> 
   <td>需要引入zookeeper , mesos, 增加系统复杂度, 学习成本较高</td> 
   <td>调度中心通过获取 DB锁来保证集群中执行任务的唯一性， 如果短任务很多，随着调度中心集群数量增加，那么数据库的锁竞争会比较厉害，性能不好。</td> 
  </tr> 
  <tr> 
   <td>使用企业</td> 
   <td>大众化产品，对分布式调度要求不高的公司大面积使用</td> 
   <td>36氪，当当网，国美，金柚网，联想，唯品会，亚信，平安，猪八戒</td> 
   <td>大众点评，运满满，优信二手车，拍拍贷</td> 
  </tr> 
 </tbody> 
</table>

**参考文档：**

https://www.jianshu.com/p/ab438d944669

https://blog.csdn.net/u012394095/article/details/79470904

https://www.jianshu.com/p/3da5ef692a04

[format_png]: /images/20230531/a4a60a303ce84f2092fd2ef1b6328e0c.png
[format_png 1]: /images/20230531/48fb0f8cd3bc415ab97c54fc12ef2a3d.png
[fdf]: /images/20230531/dbe53737d14a470e93ad0d18c3df9a57.png
[format_png 2]: /images/20230531/7ae65115a4bd41578e118a7cfe290dc2.png
[format_png 3]: /images/20230531/547c3af5a232464faa8ed1a648db4fbf.png
[img]: /images/20230531/e26b929e3a484ec4a55d2c4ab1046bf0.png
[img 1]: /images/20230531/eceec663dbef491fb11abc17615610fe.png
[http_elasticjob.io_docs_elastic-job-lite_00-overview]: http://elasticjob.io/docs/elastic-job-lite/00-overview/
[70]: /images/20230531/adeb3fa64b984b8c94e10ce0ccc9b0a9.png
[http_www.xuxueli.com_xxl-job_id_E3_80_8A_E5_88_86_E5_B8_83_E5_BC_8F_E4_BB_BB_E5_8A_A1_E8_B0_83_E5_BA_A6_E5_B9_B3_E5_8F_B0xxl-job_E3_80_8B]: http://www.xuxueli.com/xxl-job/#/?id=%E3%80%8A%E5%88%86%E5%B8%83%E5%BC%8F%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0xxl-job%E3%80%8B