定时任务框架elastic-job快速体验与思考

水深无声 2022-10-31 05:23 109阅读 0赞

# 前言 #

*一个业务系统中很容易会遇到需要定时任务来执行某一操作的需求。如果刚开始时系统足够简单，为了开发快速与便捷，用spring中的schedule注解来实现定时任务也完全够了*

*随着业务功能的增加，如果需要定时任务的高可用，则可以使用quartz，但如果希望有job的管理界面并支持分布式，那么quartz目前还不能满足。也正因为quartz不能满足分布式处理定时任务的原因，于是便有了众多的定时任务框架，如xxl-job、elastic-job等*

*尽管xxl-job和elastic-job都是由国人开发的两款开源定时任务框架，但由于elastic-job的历史更加悠久（主要是更稳定）再加上2020年5月elastic-job已成为了shardingsphere的子项目，从各方面考虑elastic-job也是值得推荐的一款定时任务框架*

# 快速体验elastic-job #

主要参考官方教程：[https://shardingsphere.apache.org/elasticjob/current/cn/overview/][https_shardingsphere.apache.org_elasticjob_current_cn_overview]

## 环境说明 ##

为了测试分布式，准备两个机器

*  机器一：192.168.85.1(windows物理机)
 *  机器二：192.168.85.136(linux虚拟机)

## 依赖软件安装 ##

在体验elastic-job前先将需要的关联软件准备好，mysql和zookeeper

*(elasticjob默认使用的h2数据库，但为了配合ui-console，这里还是使用mysql数据库来存储job的日志信息)*

### mysql安装 ###

mysql的安装为了快速，就直接用docker安装一个吧,用的5.7版本的mysql再指定一下root密码

> docker run --name mysql -e MYSQL\_ROOT\_PASSWORD=123456 -p 3306:3306 -d mysql:5.7

### zookeeper安装 ###

zookeeper单节点的安装比较简单，直接去官网下载就可以

官方下载地址为：https://zookeeper.apache.org/releases.html

下载好后修改配置文件，然后再找到启动文件启动即可

## 测试项目代码编写 ##

为了快速体验一下elastic-job的常用功能，我决定还是简单写一个小demo将项目运行起来快速体验一下

因为想体验到最新版本的elastic-job，我决定直接到官网找到github的地址  
[https://github.com/apache/shardingsphere-elasticjob][https_github.com_apache_shardingsphere-elasticjob]

gitclone下来直接开干，项目clone下来后直接install一下以确保elastic-job的包都安装在本地maven库中

之后新建一个springboot的测试项目快速使用一下

### 添加pom依赖 ###

<dependency>
                <groupId>org.apache.shardingsphere.elasticjob</groupId>
                <artifactId>elasticjob-lite-spring-boot-starter</artifactId>
                <version>3.0.0-RC1</version>
            </dependency>
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>5.1.38</version>
            </dependency>

### 添加测试job类 ###

将定时任务类添加好

package com.haiyang.stu.springboot.job;
    
    import org.apache.shardingsphere.elasticjob.api.ShardingContext;
    import org.apache.shardingsphere.elasticjob.simple.job.SimpleJob;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import org.springframework.stereotype.Component;
    
    import java.text.SimpleDateFormat;
    import java.util.Date;
    
    @Component
    public class SpringBootSimpleJob implements SimpleJob { 
        private final Logger logger = LoggerFactory.getLogger(SpringBootSimpleJob.class);
    
        @Override
        public void execute(ShardingContext shardingContext) { 
            logger.info("Item: {} | Time: {} | Thread: {} | {} parameter:{}",
                    shardingContext.getShardingItem(), new SimpleDateFormat("HH:mm:ss").format(new Date()), Thread.currentThread().getId(), "SIMPLE", shardingContext.getShardingParameter());
        }
    }

### 修改配置文件 ###

因为上面的项目引用的是**elasticjob-lite-spring-boot-starter**，所以对于定时任务的指定只需要能过配置文件配置一下就可以了

spring:
      datasource:
        url: jdbc:mysql://192.168.85.136:3306/job?useUnicode=true&characterEncoding=utf-8&verifyServerCertificate=false&useSSL=false&requireSSL=false
        driver-class-name: com.mysql.jdbc.Driver
        username: root
        password: 123456
        tomcat:
          max-wait: 10000
          min-idle: 0
          initial-size: 25
          validation-query: SELECT 1
          test-on-borrow: false
          test-while-idle: true
          time-between-eviction-runs-millis: 18800
          remove-abandoned: true
          remove-abandoned-timeout: 180
    elasticjob:
      tracing:
        type: RDB
      regCenter:
        serverLists: 192.168.85.1:2181
        namespace: elasticjob-lite-springboot
        max-sleep-time-milliseconds: 20000
      jobs:
        simpleJob:
          elasticJobClass: com.haiyang.stu.springboot.job.SpringBootSimpleJob
          cron: 0/5 * * * * ?
          shardingTotalCount: 3
          shardingItemParameters: 0=Beijing,1=Shanghai,2=Guangzhou
        manualScriptJob:
          elasticJobType: SCRIPT
          jobBootstrapBeanName: manualScriptJobBean
          shardingTotalCount: 9
          props:
            script.command.line: "echo Manual SCRIPT Job: "
    server:
      port: 8796

上面的配置文件中指定了两个定时任务

*  一个是每间隔5秒就执行一次的SpringBootSimpleJob,并分成了3个分片，同时给3个不同的分片设置了不同的参数
 *  另一个是没有cron表达式的job,这个定时任务需要手动执行，共有9个分片

## 测试项目启动与观察 ##

为了便于启动的快速，我决定还是将项目打成docker镜像便于启动

Dockerfile随便写一下

FROM  openjdk:8
    RUN ln -snf /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime && echo Asia/Shanghai > /etc/timezone
    COPY spring-boot-3.0.0-RC1.jar app.jar
    EXPOSE 8796
    ENTRYPOINT ["java","-jar","/app.jar"]

之后将项目打成镜像

> docker build -f Dockerfile -t elasticjob-test:1.0 .

将项目打好后，在docker中运行测试项目

> docker run -d --name elastic-job-1 --net host elasticjob-test:1.0

然后看一下日志，从日志中可以看到每5秒运行了一次定时任务，执行的分片有0、1、2  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center]

为了测试分布式，再在本地启动此项目，这样就一共启动了两个job节点。通过查看本地的日志可以看出本地节点启动后，原本在192.168.85.136执行的任务分片0、2给转移到本地节点上来了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 1]

同时再粗略看一下zookeeper中的存的数据,找了一个叫做ZooInspector的zk客户端  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 2]

从zookeeper存的数据可以看到所有的job都存到了zk中，同时对于每个任务执行的机器也存在了zk中

另外，通过查看官方的说明文档中可以看到elastic-job的几个特点，有:

*  弹性调度
 *  资源分配
 *  失效转移
 *  错过任务重执行

这里再来试一下失效转移功能,这是随便将某一节点关掉，查看一下任务变化情况

> docker stop elastic-job-1

再看一下本地节点的日志

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 3]

通过观察可以发现之前leader节点需要执行的分片1也转移到本地节点来了，确实很强大

### elasitc-job运维平台部署 ###

elastic-job官方也提供了管控台，其源码地址为：

https://github.com/apache/shardingsphere-elasticjob-ui

为了方便观察，最好也将它安装一下,具体编译与安装过程直接参考官方说明即可:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 4]

待安装好后，执行**start.bat**或**start.sh**启动ui-console就可以了

再来几个截图：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 8]

# 思考 #

通过对elastic-job目前的体验后整体感觉它还是挺不错的。通过elastic-job开发定时任务简单快速，支持分布式job的同时也还具备任务分片，也还有默认的监控运维平台实现实现对定时任务的监控与动态修改等众多优秀功能。elastic-job也不愧是众多分布式job中的优秀作品之一，也不得不给elastic-job的作者们点个赞！

但在kubernetes大行其道的今天，按照目前的情况如果要使用elastic-job就必须得引入zookeeper，但zookeeper在elastic-job中的作用又与kubernetes组件中的很多地方有重合之处，按照elastic-job的设计理念感觉通过kubernetes的api应该也是可以完全将zookeeper给替换掉的。

带着上面的想法查看了下elastic-job的github中的issues，也看到了这个issue([https://github.com/apache/shardingsphere-elasticjob/issues/1761][https_github.com_apache_shardingsphere-elasticjob_issues_1761])，在看了这个issue后才知道，原来早就有人曾经和我有过类似的想法了，并且他们也早已有了支持k8s版本的开发计划。  
(**Refactor elasticjob cloud and support elasticjob cloud on kubernetes**)  
期待着支持k8s版本的elastic-job。

最后想说：如何让一个早已稳定成熟的产品运行在新的环境中是很多开发者都想做的事，使其更高效便捷，这也让我明白了一个道理：**在通往成功(优秀)的道路上，你不是一个人在战斗!**

[https_shardingsphere.apache.org_elasticjob_current_cn_overview]: https://shardingsphere.apache.org/elasticjob/current/cn/overview/
[https_github.com_apache_shardingsphere-elasticjob]: https://github.com/apache/shardingsphere-elasticjob
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221024/cd6be987b7a945558f514b32f8b9266e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221024/cdbda0d3f878471f89d26d9a67a939aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221024/dec17daf6fa74ed7830a0796de9476d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221024/ebade5af2b2944979ae4e06a0a4ee205.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221024/f142565dcee04f5f8d2737c9a11bb7eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221024/4916f0e8fc164bdd8a1d21d825601e26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221024/d2e53a96fee0411ca46fbfb638cbb59f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221024/a2e8582f26154f828b425f24d4a4ff20.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B1aGFpeWFuZw_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221024/f919878503614d3da08cb8f95d49e86e.png
[https_github.com_apache_shardingsphere-elasticjob_issues_1761]: https://github.com/apache/shardingsphere-elasticjob/issues/1761