Flink on yarn参数配置

布满荆棘的人生 2021-10-23 06:41 1006阅读 0赞

在flink on yarn模式中，flink yarn-session的两种提交方式

1.公用一个yarn-session

在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。

2.每个job提供一个集群环境

### 下面以spark-session 案例，简单讲解： ###

启动运行环境：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]

实际案例:

**1)我们启动Yarn：**

**这个时候web端是没有任务的**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1][]

**2）我们启动一个yarn session（类似预先规定好了资源，然后任务在这里面运行，资源是固定的）：**

./bin/yarn-session.sh -n 4 -jm 2048 -tm 4096  -s 2  -d

启动效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2][]

web端效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3][]

杀死yarn任务：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 4][]

屏幕右拖动：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 5][]

点击进去，调整到了flink页面，类似spark效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 6][]

然后启动任务：

![20191109122145478.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 7][]

再看web端：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 8][]

对照上图我们看命令：

./bin/yarn-session.sh -n 4 -jm 2048 -tm 4096  -s 2  -d

\-s 2代表是每个taskManager起了2个slot（默认一个slot一个core，而且我们设置算子的并行度不要超过slots的总数）

上命令是代表啥意思呢  启动了4个taskManager ：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 9][]

设置jobManager 的内存大小为 2048 ：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 10][]

taskManager 内存大小：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 11][]

# **最后总结：** #

在flink on yarn模式中，两种提交方式：

## 第一种方式： ##

## 首先启动yarn session，并且会启动Flink的两个必要服务：JobManager和TaskManagers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 12][]

## 第二种方式 ：  ##

## 就是每次提交Flink任务都会创建一个新的Flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。（生产推荐使用，比较灵活） ##

### 例如： ###

** nohup bin/flink run -m yarn-cluster -yn 7  -s hdfs:///flink/savepoints/savepoint-\* -c \*.\* jars/\*\*\*\* test > Flink-RealtimeDAU.log 2>&1 &**

### 再如： ###

\#per-job模式 完整案例  
**/var/flink/bin/flink run \\  
\--detached \\  
\--jobmanager yarn-cluster \\  
\--yarnname "$\{yarn\_name\}-$\{env\}" \\  
\--yarnjobManagerMemory 1536 \\  
\--yarntaskManagerMemory 4096 \\  
\--yarnslots 2 \\  
\--parallelism 20 \\  
\--class $\{class\_name\} \\  
\-s $\{savepoint\_path\} \\  
/var/flink/jobs/sht-clickstream-analysis-1.0-$\{env\}.jar**

其中的-yn是指TaskManager的个数，必须指定：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 14][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 15][]

![20191109123331825.png][]

案例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 16][]

最后要注意可能不同的Flink 版本。提交命令也不一样哦，上面都只是参考。

Flink 1.11.2版本就变了 没有了yn

### **\#per-job模式 完整案例   /var/flink/bin/flink run \\   \--detached \\   \--jobmanager yarn-cluster \\   \--yarnname "$\{yarn\_name\}-$\{env\}" \\   \--yarnjobManagerMemory 1536 \\   \--yarntaskManagerMemory 4096 \\   \--yarnslots 2 \\   \--parallelism 20 \\   \--class $\{class\_name\} \\   \-s $\{savepoint\_path\} \\   /var/flink/jobs/sht-clickstream-analysis-1.0-$\{env\}.jar** ###

###    **\#per-job模式 完整案例   /var/flink/bin/flink run \\   \-d \\   \-m yarn-cluster \\   \-ynm insert\_doris\_test \\   \-yjm 1536 \\   \-ytm 2048 \\   \-ys 1 \\   \--parallelism 3 \\   \-yD yarn.containers.vcores=1 \\   \--c  com.flink.dev.Hive2KafkaSinkDorisTest \\   /wyyt/software/flink-1.11.2/flink-1.0-SNAPSHOT-jar-with-dependencies.jar** ###

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: /images/20211023/b69ef4c4ba1547ca913cdbae2f0ef267.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1]: /images/20211023/6a50596f92ef460c874e2abcc67a9c4e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2]: /images/20211023/ebcb51f7524341c98882a5888975c41e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3]: /images/20211023/d22c4004fbd8471f9b568d8eac7b16fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 4]: /images/20211023/a43d72741f034d32968da69669941e72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 5]: /images/20211023/d1e9ea6b9bb3405ba6f9662330d87e1f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 6]: /images/20211023/933441b425894ba99416b75f630d73c7.png
[20191109122145478.png]: /images/20211023/3f41d5c7a0ee488cba0f569907e4efb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 7]: /images/20211023/86a1faa879f146a1aab56c6b60d3b07e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 8]: /images/20211023/8e887f8492fc4910a13e01a817664f0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 9]: /images/20211023/82f004f37c2c4fe69321102d4c6eeea8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 10]: /images/20211023/a2c0bb11c9464356a21b77eafe5d8075.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 11]: /images/20211023/d0e3cbb7a8b24d4b847b6b01794b94ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 12]: /images/20211023/9df099a68cba4a50ba97896dd4afc7e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 13]: /images/20211023/cd56de7384b64e0d83537b1b855c1a42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 14]: /images/20211023/813cd769f5af4b07801b08ab489972de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 15]: /images/20211023/75589c60110b440e9285916fc6cbca36.png
[20191109123331825.png]: /images/20211023/8ce41f74c84d49f1bd511e8c41b520e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 16]: /images/20211023/3be38ef6455941cea640573bcc928309.png