FlinkX 部署

绝地灬酷狼 2023-02-13 08:08 6阅读 0赞

# FlinkX 部署 #

## 运行概述 ##

### 执行环境 ###

*  Java: JDK8及以上
 *  Flink集群: 1.4及以上（单机模式不需要安装Flink集群）
 *  操作系统：理论上不限，但是目前只编写了shell启动脚本，用户可以可以参考shell脚本编写适合特定操作系统的启动脚本。

### 运行模式 ###

*  单机模式：对应Flink集群的单机模式
 *  standalone模式：对应Flink集群的分布式模式
 *  yarn模式：对应Flink集群的yarn模式
 *  yarnPer模式: 对应Flink集群的Per-job模式

## 源码下载 ##

git clone https://github.com/DTStack/flinkx.git

## 安装依赖 ##

call mvn install:install-file -DgroupId=com.ibm.db2 -DartifactId=db2jcc -Dversion=3.72.44 -Dpackaging=jar -Dfile=../jars/db2jcc-3.72.44.jar
    
    call mvn install:install-file -DgroupId=com.github.noraui -DartifactId=ojdbc8 -Dversion=12.2.0.1 -Dpackaging=jar -Dfile=../jars/ojdbc8-12.2.0.1.jar
    
    call mvn install:install-file -DgroupId=com.esen.jdbc -DartifactId=gbase -Dversion=8.3.81.53 -Dpackaging=jar -Dfile=../jars/gbase-8.3.81.53.jar
    
    call mvn install:install-file -DgroupId=dm.jdbc.driver -DartifactId=dm7 -Dversion=18.0.0 -Dpackaging=jar -Dfile=../jars/Dm7JdbcDriver18.jar

## 打包 ##

mvn clean install -DskipTests

![image-20200526223725241][]

新增了两个目录：

![image-20200526223750179][]

将 bin 和 这两个目录压缩一下，上传到服务器

打包结束后，项目根目录下会产生bin目录和plugins目录，其中bin目录包含FlinkX的启动脚本，plugins目录下存放编译好的数据同步插件包

## 启动数据同步任务 ##

**以standalone模式启动数据同步任务**

1.  准备好一个本地的flink
2.  将打包好的`flinkx.jar` 放入`flink`的lib

![在这里插入图片描述][20200527223909870.png]  
2. 编写`start.sh`

*  将 `pluginRoot`指向打包生成的`plugin`目录
 *  将`flink`指向本地的`flink`集群的配置，或者直接拷贝过来一份

bin/flinkx -mode standalone \
                -job /opt/flinkx/examples/mongodb_to_mysql.json \
                -pluginRoot /opt/flinkx/syncplugins \
                -flinkconf /opt/flink-1.10.0/conf \
                -confProp { \"flink.checkpoint.interval\":60000} \

1.  启动`start.sh`
2.  结果  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwNzYwNDQ_size_16_color_FFFFFF_t_70]

--------------------

未实验

*  **以yarn模式启动数据同步任务**

bin/flinkx -mode yarn \
                -job /Users/softfly/company/flinkx/jobs/mysql_to_mysql.json \
                -plugin /opt/dtstack/flinkplugin/syncplugin \
                -flinkconf /opt/dtstack/myconf/conf \
                -yarnconf /opt/dtstack/myconf/hadoop \
                -confProp "{"flink.checkpoint.interval":60000}" \
                -s /flink_checkpoint/0481473685a8e7d22e7bd079d6e5c08c/chk-*

*  **以perjob模式启动数据同步任务**

bin/flinkx -mode yarnPer \
                -job /test.json \
                -pluginRoot /opt/dtstack/syncplugin \
                -flinkconf /opt/dtstack/flink-1.8.1/conf \
                -yarnconf /opt/dtstack/hadoop-2.7.3/etc/hadoop \
                -flinkLibJar /opt/dtstack/flink-1.8.1/lib \
                -confProp {\"flink.checkpoint.interval\":200000} \
                -queue c -pluginLoadMode classpath

## 命令行参数选项 ##

*  **model**
    
     *  描述：执行模式，也就是flink集群的工作模式
        
         *  local: 本地模式
         *  standalone: 独立部署模式的flink集群
         *  yarn: yarn模式的flink集群，需要提前在yarn上启动一个flink session，使用默认名称"Flink session cluster"
         *  yarnPer: yarn模式的flink集群，单独为当前任务启动一个flink session，使用默认名称"Flink per-job cluster"
     *  必选：否
     *  默认值：local
 *  **job**
    
     *  描述：数据同步任务描述文件的存放路径；该描述文件中使用json字符串存放任务信息。
     *  必选：是
     *  默认值：无
 *  **pluginRoot**
    
     *  描述：插件根目录地址，也就是打包后产生的pluginRoot目录。
     *  必选：是
     *  默认值：无
 *  **flinkconf**
    
     *  描述：flink配置文件所在的目录（单机模式下不需要），如/opt/dtstack/flink-1.8.1/conf
     *  必选：否
     *  默认值：无
 *  **yarnconf**
    
     *  描述：Hadoop配置文件（包括hdfs和yarn）所在的目录（单机模式下不需要），如/hadoop/etc/hadoop
     *  必选：否
     *  默认值：无
 *  **flinkLibJar**
    
     *  描述：flink lib所在的目录（单机模式下不需要），如/opt/dtstack/flink-1.8.1/lib
     *  必选：否
     *  默认值：无
 *  **confProp**
    
     *  描述：flink相关参数，如\{“flink.checkpoint.interval”:200000\}
     *  必选：否
     *  默认值：无
 *  **queue**
    
     *  描述：yarn队列，如default
     *  必选：否
     *  默认值：无
 *  **pluginLoadMode**
    
     *  描述：yarnPer模式插件加载方式：
        
         *  classpath：提交任务时不上传插件包，需要在yarn-node节点pluginRoot目录下部署插件包，但任务启动速度较快
         *  shipfile：提交任务时上传pluginRoot目录下部署插件包的插件包，yarn-node节点不需要部署插件包，任务启动速度取决于插件包的大小及网络环境
     *  必选：否
     *  默认值：classpath

— 后续考虑图形化

[image-20200526223725241]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93dWh1bGFsYS5vc3MtY24tc2hhbmdoYWkuYWxpeXVuY3MuY29tL2Jsb2cvaW1hZ2UtMjAyMDA1MjYyMjM3MjUyNDEucG5n?x-oss-process=image/format,png
[image-20200526223750179]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93dWh1bGFsYS5vc3MtY24tc2hhbmdoYWkuYWxpeXVuY3MuY29tL2Jsb2cvaW1hZ2UtMjAyMDA1MjYyMjM3NTAxNzkucG5n?x-oss-process=image/format,png
[20200527223909870.png]: https://img-blog.csdnimg.cn/20200527223909870.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwNzYwNDQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200527223918822.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwNzYwNDQ=,size_16,color_FFFFFF,t_70