生产环境中on yarn模式是否采用yarn session

太过爱你忘了你带给我的痛 2023-01-03 12:53 154阅读 0赞

flink on yarn包括 yarn session以及per job两种方式.

那么生产环境中到底采用哪种呢?

下面是社区群中的讨论:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70 1][]

**所以on yarn模式在生产环境中我们使用per job**

根据\[1\],

standalone模式也没法用，我看了下我的jps,是这样的：

643545 DataNode  
644973 QuorumPeerMain  
643773 SecondaryNameNode  
643372 NameNode  
644348 NodeManager  
587823 Launcher  
644094 ResourceManager  
**645651 StandaloneSessionClusterEntrypoint**  
645925 TaskManagerRunner  
649188 Jps  
308458 KotlinCompileDaemon  
292107 Main

根据\[2\]

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td><strong>概念名称</strong></td> 
   <td><strong>对应的硬件资源/系统资源</strong></td> 
  </tr> 
  <tr> 
   <td>Task Manager</td> 
   <td>多个CPU Core</td> 
  </tr> 
  <tr> 
   <td>Task Slot</td> 
   <td>一个CPU core</td> 
  </tr> 
  <tr> 
   <td>Task Slot</td> 
   <td>多线程共享</td> 
  </tr> 
 </tbody> 
</table>

也就是说standalone也是Session模式的，不可用，job之间的隔离性不好．

所以生产模式能用的也就只有yarn per-job方式．

**Reference:**

**\[1\][Flink SQL CDC 上线！我们总结了 13 条生产实践经验][Flink SQL CDC _ 13]**

**\[2\][flink随手笔记之Slot分配与共享][flink_Slot]**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70]: /images/20221119/cdd0118601324557bfe6a0dbdeb9c7dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70 1]: /images/20221119/8cc6742fdf2c4fd397d8522d3a852b6e.png
[Flink SQL CDC _ 13]: https://blog.csdn.net/weixin_44904816/article/details/108414069
[flink_Slot]: https://blog.csdn.net/dajiangtai007/article/details/88640718