springboot 集成分布式任务调度平台xxl-job

╰半橙微兮° 2022-04-13 04:16 319阅读 0赞

## 一、简介 ##

### 1.1 概述 ###

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

### 1.2 特性 ###

*  1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
 *  2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
 *  3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”基于集群Quartz实现并支持集群部署，可保证调度中心HA；
 *  4、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
 *  5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
 *  6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
 *  7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
 *  8、故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
 *  9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
 *  10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
 *  11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
 *  12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方面的扩展短信、钉钉等告警方式；
 *  13、分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
 *  14、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
 *  15、事件触发：除了"Cron方式"和"任务依赖方式"触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务，可根据业务事件灵活触发。
 *  16、任务进度监控：支持实时监控任务进度；
 *  17、Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
 *  18、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
 *  19、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
 *  20、命令行任务：原生提供通用命令行任务Handler（Bean任务，"CommandJobHandler"）；业务方只需要提供命令行即可；
 *  21、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
 *  22、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
 *  23、自定义任务参数：支持在线配置调度任务入参，即时生效；
 *  24、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
 *  25、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
 *  26、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
 *  27、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
 *  28、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
 *  29、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
 *  30、跨平台：原生提供通用HTTP任务Handler（Bean任务，"HttpJobHandler"）；业务方只需要提供HTTP链接即可，不限制语言、平台；
 *  31、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
 *  32、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；

[具体详情点此跳转][Link 1]

# 三、java springboot集成xxl-job实例： #

## 环境： ##

*  JDK：1.7+
 *  Servlet/JSP Spec：3.1/2.3
 *  Tomcat：8.5.x/Jetty9.2.x
 *  Spring-boot：1.5.x/Spring4.x
 *  Mysql：5.6+
 *  Maven：3+

## 步骤： ##

## 第一步到github上下载xxl-job项目 ##

github地址:[https://github.com/xuxueli/xxl-job][https_github.com_xuxueli_xxl-job]

在工作空间中git clone [https://github.com/xuxueli/xxl-job][https_github.com_xuxueli_xxl-job] 将项目down到本地

idea打开项目查看项目和配置文件内容：

如果想使用。需要在数据库创建xxl-job数据库。在以下配置文件中将数据库地址和用户名密码进行修改

accesstoken自定义添加

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70][]

## 第二步:创建库表结构，进入启动admin项目进入调度平台 ##

项目中doc文件夹中有xxl-job需要的建表语句。执行建表语句

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 1][]

创建之后的库表结构

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 2][]

运行启动类

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 3][]

地址：[http://localhost:8080/xxl-job-admin][http_localhost_8080_xxl-job-admin]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 4][]

登陆之后的界面：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 5][]

创建执行器

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 6][]

添加信息。 **记住执行器appname需要配置到项目中**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 7][]

查看任务

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 8][]

新增或者  编辑任务，选择刚才添加好的执行器，填写上项目代码中的jobhander，路由策略一般选择广播模式等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 9][]

## ##

### 第三步：加入jar包依赖集成到springboot项目 ###

<dependency>
                <groupId>com.xuxueli</groupId>
                <artifactId>xxl-job-core</artifactId>
                <version>2.0.0</version>
            </dependency>

## ##

### 第四步在springboot项目yml文件配置xxl-job配置信息 ###

appname：在xxl-job配置的执行器的appname

accessToken：调度中心通讯TOKEN，与xxl-job-admin配置文件的token一致即可

xxl:
      job:
        admin:
          addresses: http://127.0.0.1:8000/xxl-job-admin
        executor:
          appname: marketing-ads-scheduler
          ip:
          port: 9999
          logpath: /mnt/logs/ads_scheduler
          logretentiondays: 30
        accessToken: 6889b70769ffb1e955ba69396f0cca6b

### 第五步：配置文件 ###

@Configuration
    @ComponentScan(basePackages = "com.rrc.marketing.adsscheduler.service.jobhandler")
    public class XxlJobConfig {
    
        @Value("${xxl.job.admin.addresses}")
        private String adminAddresses;
    
        @Value("${xxl.job.executor.appname}")
        private String appName;
    
        @Value("${xxl.job.executor.ip}")
        private String ip;
    
        @Value("${xxl.job.executor.port}")
        private int port;
    
        @Value("${xxl.job.accessToken}")
        private String accessToken;
    
        @Value("${xxl.job.executor.logpath}")
        private String logPath;
    
        @Value("${xxl.job.executor.logretentiondays}")
        private int logRetentionDays;
    
        @Bean(initMethod = "start", destroyMethod = "destroy")
        public XxlJobSpringExecutor xxlJobExecutor() {
    //        logger.info(">>>>>>>>>>> xxl-job config init.");
            XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
            xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
            xxlJobSpringExecutor.setAppName(appName);
            xxlJobSpringExecutor.setIp(ip);
            xxlJobSpringExecutor.setPort(port);
            xxlJobSpringExecutor.setAccessToken(accessToken);
            xxlJobSpringExecutor.setLogPath(logPath);
            xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
            return xxlJobSpringExecutor;
        }
    
    }

### 第六步：使用方法 ###

@JobHandLer(value="任务名")

execut：执行任务方法

@JobHandler(value="sem_baidu_adgroup_job")
    @Service
    @Slf4j
    public class AdgroupBaiduJobHandler extends IJobHandler {
    
      
    
        @Override
        public ReturnT<String> execute(String param) throws Exception {
    
            ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();
    
            int shardingTotal = shardingVO.getTotal();
    
            int shardingIndex = shardingVO.getIndex();
    
            int queueIndex = 1;
    
            ConcurrentLinkedQueue<SemAccountInfoEntity> baiduAccountQueue = CacheUtil.getBaiduAccountQueue();
    
            for(SemAccountInfoEntity semAccountInfoEntity : baiduAccountQueue){
                if(shardingIndex == queueIndex % shardingTotal) {
                    getBaiduAdgroupType(semAccountInfoEntity);
                }
                queueIndex++;
            }
    
            return SUCCESS;
        }
    
        @Transactional
        public void getBaiduAdgroupType(SemAccountInfoEntity semAccountInfoEntity) throws JAXBException {
            log.info("调用任务");
    }

## 第七步：访问调度中心项目地址配置执行 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 10][]

以上就是集成xxl-job的全部操作，很简单实用的分布式人物调度平台。

感谢观看！

[Link 1]: https://www.cnblogs.com/xuxueli/p/5021979.html
[https_github.com_xuxueli_xxl-job]: https://github.com/xuxueli/xxl-job
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70]: /images/20220413/b528a78ba593491ca3b6c16a16bd1757.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 1]: /images/20220413/c69329a884974a038a4e9115baf79f33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 2]: /images/20220413/1db699085c4346e2997334f87b7ac509.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 3]: /images/20220413/2fb9b2e3d74d40d9af59bb9f28f3361d.png
[http_localhost_8080_xxl-job-admin]: http://localhost:8080/xxl-job-admin
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 4]: /images/20220413/9893367d7d5d45518bed7c92a80299d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 5]: /images/20220413/d91ba7031b0d481eac3ac1a96fd82162.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 6]: /images/20220413/93234210787e492290bcc6a339b4bf15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 7]: /images/20220413/d46f634508604bc78bcbd2e85aad00dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 8]: /images/20220413/449c80931ea447409b37b4bb50198093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 9]: /images/20220413/d85bf499cccf4482a77a966a176b6200.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FsaWNlX3FpeGlu_size_16_color_FFFFFF_t_70 10]: /images/20220413/097504bc6a9b463ca6d006cc17adcbf0.png