DataX-Web 源码调试及打包

女爷i 2023-09-25 14:01 70阅读 0赞

#### 文章目录 ####

*   *   *   *  1、还原 dataxweb 数据库
             *  2、修改配置文件
             *  3、打包

前文回顾：  
[《DataX 及 DataX-Web 安装使用详解》][DataX _ DataX-Web]  
[《DataX 源码调试及打包》][DataX]

源码地址：[https://github.com/WeiYe-Jing/datax-web][https_github.com_WeiYe-Jing_datax-web]

##### 1、还原 dataxweb 数据库 #####

sql 脚本在目录 /bin/db/datax-web.sql

![在这里插入图片描述][9460ef9a16224cbaac01a8172d615fcb.png]

##### 2、修改配置文件 #####

打开项目后，如下

![在这里插入图片描述][08737d3e1ec54c4da4e0f502ed987c3a.png]

我们需要修改控制器datax-admin和执行器datax-executor的配置文件。

*  datax-admin

修改控制器配置文件application.yml

# 控制器端口号
    server:
      port: 8099
    spring:
      #数据源，目前只支持mysql
      datasource:
        username: root
        password: 666888
        url: jdbc:mysql://localhost:3306/dataxweb?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
        driver-class-name: com.mysql.jdbc.Driver
    
        # 数据库连接池配置
        hikari:
          ## 最小空闲连接数量
          minimum-idle: 5
          ## 空闲连接存活最大时间，默认600000（10分钟）
          idle-timeout: 180000
          ## 连接池最大连接数，默认是10
          maximum-pool-size: 10
          ## 数据库连接超时时间,默认30秒，即30000
          connection-timeout: 30000
          connection-test-query: SELECT 1
          ##此属性控制池中连接的最长生命周期，值0表示无限生命周期，默认1800000即30分钟
          max-lifetime: 1800000
    
      # datax-web email，不需要可以不配置
      mail:
        host: smtp.qq.com
        port: 25
        username:
        password:
        properties:
          mail:
            smtp:
              auth: true
              starttls:
                enable: true
                required: true
            socketFactory:
              class: javax.net.ssl.SSLSocketFactory
    
    
    management:
      health:
        mail:
          enabled: false
      server:
        servlet:
          context-path: /actuator
    
    mybatis-plus:
      # mapper.xml文件扫描
      mapper-locations: classpath*:/mybatis-mapper/*Mapper.xml
      # 实体扫描，多个package用逗号或者分号分隔
      #typeAliasesPackage: com.yibo.essyncclient.*.entity
      global-config:
        # 数据库相关配置
        db-config:
          # 主键类型  AUTO:"数据库ID自增", INPUT:"用户输入ID", ID_WORKER:"全局唯一ID (数字类型唯一ID)", UUID:"全局唯一ID UUID";
          id-type: AUTO
          # 字段策略 IGNORED:"忽略判断",NOT_NULL:"非 NULL 判断"),NOT_EMPTY:"非空判断"
          field-strategy: NOT_NULL
          # 驼峰下划线转换
          column-underline: true
          # 逻辑删除
          logic-delete-value: 0
          logic-not-delete-value: 1
          # 数据库类型
          db-type: mysql
        banner: false
      # mybatis原生配置
      configuration:
        map-underscore-to-camel-case: true
        cache-enabled: false
        call-setters-on-nulls: true
        jdbc-type-for-null: 'null'
        type-handlers-package: com.wugui.datax.admin.core.handler
    
    # 配置mybatis-plus打印sql日志
    logging:
      level:
        com.wugui.datax.admin.mapper: error
        path: ./data/applogs/admin
    
    
    #datax-job, access token
    datax:
      job:
        accessToken:
        #i18n (default empty as chinese, "en" as english)
        i18n:
        ## triggerpool max size
        triggerpool:
          fast:
            max: 200
          slow:
            max: 100
          ### log retention days
        logretentiondays: 30
    
    datasource:
      aes:
        key: AD42F6697B035B75

我这修改了数据源、端口以及sql日志的配置。

*  datax-executor

修改执行器配置文件application.yml

# web port
    server:
      port: 8082
    
    # log config
    logging:
      config: classpath:logback.xml
      # 日志路径
      path: ./data/applogs/executor/jobhandler
    
    datax:
      job:
        admin:
          ### datax admin address list, such as "http://address" or "http://address01,http://address02"
          # 控制器的地址及端口
          addresses: http://127.0.0.1:8099
        executor:
          appname: datax-executor
          ip:
          port: 9999 # 执行器端口号
          ### job文件的执行日志路径
          logpath: ./data/applogs/executor/jobhandler
          ### job log retention days
          logretentiondays: 30
        ### job, access token
        accessToken:
    
      executor:
        # datax json文件存放位置
        jsonpath: F:/IdeaProjectsWC/DataX/target/datax/datax/script
    
      # Datax执行文件datax.py的地址
      pypath: F:/IdeaProjectsWC/DataX/target/datax/datax/bin/datax.py

根据实际情况修改控制器的地址、执行器端口号、json文件存放位置和执行文件datax.py的地址。

##### 3、打包 #####

点击 datax-web 中的clean，等待执行完成后，点击 package 进行打包。

运行 datax-admin 下的 target/datax-admin-2.1.2.jar，以及 datax-executor 下的 target/datax-executor-2.1.2.jar。

不出意外的话会报如下错误

![在这里插入图片描述][44302392999043cd95269db0aaec2699.png]

我们打开jar包BOOT-INF\\classes目录，可以看到少了一些配置文件，并且mybatis-mapper、i18n里是空的

![在这里插入图片描述][a3c5e6427b1f4453a77f9357258420fd.png]

idea打开，把target/classes下的yml、xml、properties文件以及mybatis-mapper、i18n复制进来

![在这里插入图片描述][012da4396b2f48b1b778e23350d934b0.png]

注：这些资源文件打包没打进来可以去pom文件修改配置，我这里就简单粗暴copy进来，同时我的yml文件为了方便上线，所以用了好几个。

再次运行，即可

![在这里插入图片描述][92d23889a771413bb456ea4314b5fcfd.png]

同理，执行器的yml和xml文件也复制到 datax-executor-2.1.2.jar 里的 BOOT-INF\\classes 里

![在这里插入图片描述][b1a871dfa1dd472f976aab011f7d171a.png]

再次运行，即可

![在这里插入图片描述][564bdb156f044dd384a33ac1c3de6b0e.png]

运行成功后，即可访问 http://127.0.0.1:8099/index.html，如下

![在这里插入图片描述][057cae62e1fb4a31a71348325aa24f43.png]

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qtF91r2b-1670492261749)(.\\程序员大佬超.assets\\image-20221124174629076.png)\]][img-qtF91r2b-1670492261749_._.assets_image-20221124174629076.png]

--------------------

更多技术干货，请持续关注程序员大佬超。  
原创不易，转载请注明出处。

[DataX _ DataX-Web]: https://blog.csdn.net/xch_yang/article/details/128223489
[DataX]: https://blog.csdn.net/xch_yang/article/details/128240344
[https_github.com_WeiYe-Jing_datax-web]: https://github.com/WeiYe-Jing/datax-web
[9460ef9a16224cbaac01a8172d615fcb.png]: https://img-blog.csdnimg.cn/9460ef9a16224cbaac01a8172d615fcb.png
[08737d3e1ec54c4da4e0f502ed987c3a.png]: https://img-blog.csdnimg.cn/08737d3e1ec54c4da4e0f502ed987c3a.png
[44302392999043cd95269db0aaec2699.png]: https://img-blog.csdnimg.cn/44302392999043cd95269db0aaec2699.png
[a3c5e6427b1f4453a77f9357258420fd.png]: https://img-blog.csdnimg.cn/a3c5e6427b1f4453a77f9357258420fd.png
[012da4396b2f48b1b778e23350d934b0.png]: https://img-blog.csdnimg.cn/012da4396b2f48b1b778e23350d934b0.png
[92d23889a771413bb456ea4314b5fcfd.png]: https://img-blog.csdnimg.cn/92d23889a771413bb456ea4314b5fcfd.png
[b1a871dfa1dd472f976aab011f7d171a.png]: https://img-blog.csdnimg.cn/b1a871dfa1dd472f976aab011f7d171a.png
[564bdb156f044dd384a33ac1c3de6b0e.png]: https://img-blog.csdnimg.cn/564bdb156f044dd384a33ac1c3de6b0e.png
[057cae62e1fb4a31a71348325aa24f43.png]: https://img-blog.csdnimg.cn/057cae62e1fb4a31a71348325aa24f43.png
[img-qtF91r2b-1670492261749_._.assets_image-20221124174629076.png]: https://img-blog.csdnimg.cn/717401fc4af04c91b5051829efd7d190.png