分布式任务调度平台XXL-JOB 学习

系统管理员 2024-01-20 06:02 49阅读 0赞

因公司最近需要分布式定时任务，因而此处做个学习记录。

分布式任务调度平台XXL-JOB：

[系统组成][Link 1]

*  **调度模块（调度中心）**： 负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块； 支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。
 *  **执行模块（执行器）**： 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效； 接收“调度中心”的执行请求、终止请求和日志请求等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70][]

详细了解：[点击][Link 2]

源码下载位置：[https://github.com/xuxueli/xxl-job][https_github.com_xuxueli_xxl-job]

需要注意：版本问题。

xxl-job-admin：

<dependency>
    		<groupId>com.xuxueli</groupId>
    		<artifactId>xxl-job-core</artifactId>
    		<version>2.1.0-SNAPSHOT</version>
    </dependency>

如果密码登陆不上去，可以采用

DigestUtils.md5DigestAsHex("密码".getBytes());//加密

然后需改数据库中：

XXL\_JOB\_QRTZ\_USER 表中用户的密码。

![20190511211053226.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1][]  
**说明：**  
路由策略：当执行器集群部署时，提供丰富的路由策略，包括；

FIRST（第一个）：固定选择第一个机器；

LAST（最后一个）：固定选择最后一个机器；

ROUND（轮询）：； RANDOM（随机）：随机选择在线的机器；

CONSISTENT\_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。

LEAST\_FREQUENTLY\_USED（最不经常使用）：使用频率最低的机器优先被选举； LEAST\_RECENTLY\_USED（最近最久未使用）：最久为使用的机器优先被选举；

FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；

BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；

SHARDING\_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；

Cron：触发任务执行的Cron表达式； - 运行模式：

BEAN模式：任务以JobHandler方式维护在执行器端；需要结合"JobHandler" 属性匹配执行器中任务；

GLUE模式(Java)：任务以源码方式维护在调度中心；该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务；

GLUE模式(Shell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "shell" 脚本；

GLUE模式(Python)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "python" 脚本；

GLUE模式(PHP)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "php" 脚本；

GLUE模式(NodeJS)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "nodejs" 脚本；

GLUE模式(PowerShell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "PowerShell" 脚本；

\- JobHandler：运行模式为 "BEAN模式" 时生效，对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值；

阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；

单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；

丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；

覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；

\- 子任务：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度。

\- 任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；

\- 失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；

\- 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；

\- 负责人：任务的负责人；

\- 执行参数：任务执行所需的参数；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2][]

定时任务：

开发步骤：
      1、继承"IJobHandler"：“com.xxl.job.core.handler.IJobHandler”；
      2、注册到Spring容器：添加“@Component”注解，被Spring容器扫描为Bean实例；
      3、注册到执行器工厂：添加“@JobHandler(value="自定义jobhandler名称")”注解，注解value值对应的是调度中心新建任务JobHandler属性的值。
     4、执行日志：需要通过 "XxlJobLogger.log" 打印执行日志；

@JobHandler(value="demoJobHandler")
    @Component
    public class DemoJobHandler extends IJobHandler {
    
    	@Override
    	public ReturnT<String> execute(String param) throws Exception {
    		XxlJobLogger.log("XXL-JOB, Hello World.");
    
    		for (int i = 0; i < 5; i++) {
    			XxlJobLogger.log("beat at:" + i);
    			TimeUnit.SECONDS.sleep(2);
    		}
    		return SUCCESS;
    	}
    
    }

集群：

/**
     * 分片广播任务
     */
    @JobHandler(value="shardingJobHandler")
    @Service
    public class ShardingJobHandler extends IJobHandler {
    
    	@Override
    	public ReturnT<String> execute(String param) throws Exception {
    
    		// 分片参数
    		ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();
    		XxlJobLogger.log("分片参数：当前分片序号 = {}, 总分片数 = {}", shardingVO.getIndex(), shardingVO.getTotal());
    
    		// 业务逻辑
    		for (int i = 0; i < shardingVO.getTotal(); i++) {
    			if (i == shardingVO.getIndex()) {
    				XxlJobLogger.log("第 {} 片, 命中分片开始处理", i);
    			} else {
    				XxlJobLogger.log("第 {} 片, 忽略", i);
    			}
    		}
    
    		return SUCCESS;
    	}
    
    }

此处只是为做个记录。后续在深入研究。

[Link 1]: http://www.xuxueli.com/xxl-job/#/?id=_532-%E7%B3%BB%E7%BB%9F%E7%BB%84%E6%88%90
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/20/fd5639abed5c4c9c8712b5dcae60a03f.png
[Link 2]: http://www.xuxueli.com/xxl-job/#/?id=%E3%80%8A%E5%88%86%E5%B8%83%E5%BC%8F%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0xxl-job%E3%80%8B
[https_github.com_xuxueli_xxl-job]: https://github.com/xuxueli/xxl-job
[20190511211053226.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/20/dc5347cb48b74dd8b60c73f65ce54d1f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/20/187a6b1c1afc4c00a704e708a1a1ca3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/20/40cea2c67cdb4c7aaddfe582abea244a.png