Spark on YARN 两种模式yarn-cluster yarn-client 面试题

约定不等于承诺〃 2024-02-19 15:07 10阅读 0赞

Spark On YARN：目前很有前景的部署模式，  
支持两种模式  
1）yarn-cluster：适用于生产环境  
2）yarn-client：适用于交互、调试、希望立即看到 app 的输出  
Spark on yarn有分为两种模式yarn-cluster和yarn-client  
一：两者的区别：  
yarn-client模式：  
1）Application Master仅仅向YARN请求executor，client会和请求的 container通信来调度他们工作，（运行在本地）  
2）Client不能离开  
3）能够看到日志  
4）网络压力大  
yarn-cluster模式：  
1）driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。  
2）当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。  
3）日志看不到  
4）网络压力小

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/72059f598a724068a63aee453e7315d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/fd7983befebd4a0b8c8841d103add7fe.png

发表评论取消回复

表情：

评论列表（有 0 条评论，10人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark-submit 提交yarn-client yarn-cluster两种模式的差别

park-submit提交给yarn的两种方式总结与区分： spark-submit提交给yarn有两种方式， 1为yarn-cluster, 2为yarn-clien...

系统管理员/ 2024年04月18日 09:33/ 0 赞/ 28 阅读

相关 Spark面试：Spark on yarn 运行流程

一： Spark on YARN能让Spark计算模型在云梯YARN集群上运行，直接读取云梯上的数据，并充分享受云梯YARN集群丰富的计算资源。二：基于YARN

ゝ一纸荒年。/ 2024年02月19日 15:08/ 0 赞/ 15 阅读

相关 Spark on YARN 两种模式yarn-cluster yarn-client 面试题

Spark On YARN：目前很有前景的部署模式，支持两种模式 1）yarn-cluster：适用于生产环境 2）yarn-client：适用于交互、调试、希望

约定不等于承诺〃/ 2024年02月19日 15:07/ 0 赞/ 11 阅读

相关 Spark on yarn

Spark-on-YARN 1. 官方文档 [http://spark.apache.org/docs/latest/running-on-yarn.html][h

淩亂°似流年/ 2023年08月17日 15:55/ 0 赞/ 81 阅读

相关图解Spark On Yarn cluster模式运行机制

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

￡神魔★判官ぃ/ 2022年08月28日 15:57/ 0 赞/ 172 阅读

相关 Spark on Yarn-cluster与Yarn-client

转载URL： http://www.cnblogs.com/MOBIN/p/5857314.html Spark on Yarn-cluster与Yarn-client

野性酷女/ 2022年07月12日 02:52/ 0 赞/ 171 阅读

相关 Spark -6：运行Spark on YARN

翻译：http://spark.apache.org/docs/latest/running-on-yarn.html 支持在YARN上运行（Hadoop Next

Love The Way You Lie/ 2022年07月11日 07:29/ 0 赞/ 214 阅读

相关 Spark ON Yarn

![Center][] ![Center 1][] ![Center 2][] [Center]: /images/20220615/16e07676c89

超、凢脫俗/ 2022年06月15日 07:14/ 0 赞/ 147 阅读

相关 spark on yarn 配置

系统：centos7 软件： 1. hadoop-2.7.2.tar.gz，请勿选择src版本，否则需要自行编译 2. jdk-7u79-linux-x64.t

╰+攻爆jí腚メ/ 2022年06月03日 09:44/ 0 赞/ 193 阅读

相关 spark on yarn

Spark on yarn的两种运行模式和运行原理一回顾—spark和mapreduce区别在MapReduce中，计算的最上层单元是是job，系统加载数据，执行一

- 日理万妓/ 2022年03月29日 13:43/ 0 赞/ 197 阅读