Spark on YARN 两种模式yarn-cluster yarn-client 面试题

约定不等于承诺〃 2024-02-19 15:07 102阅读 0赞

Spark On YARN：目前很有前景的部署模式，  
支持两种模式  
1）yarn-cluster：适用于生产环境  
2）yarn-client：适用于交互、调试、希望立即看到 app 的输出  
Spark on yarn有分为两种模式yarn-cluster和yarn-client  
一：两者的区别：  
yarn-client模式：  
1）Application Master仅仅向YARN请求executor，client会和请求的 container通信来调度他们工作，（运行在本地）  
2）Client不能离开  
3）能够看到日志  
4）网络压力大  
yarn-cluster模式：  
1）driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。  
2）当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。  
3）日志看不到  
4）网络压力小

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/72059f598a724068a63aee453e7315d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/fd7983befebd4a0b8c8841d103add7fe.png

发表评论取消回复

表情：

评论列表（有 0 条评论，102人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark-submit 提交yarn-client yarn-cluster两种模式的差别

park-submit提交给yarn的两种方式总结与区分： spark-submit提交给yarn有两种方式， 1为yarn-cluster, 2为yarn-clien...

系统管理员/ 2024年04月18日 09:33/ 0 赞/ 115 阅读

相关 Spark on YARN ：yarn-cluster模式如何查看日志

Spark on YARN 两种模式yarn-cluster yarn-client 一：yarn-client 在运行时是可以看到日志的而yarn-cluster是

「爱情、让人受尽委屈。」/ 2024年02月19日 15:08/ 0 赞/ 101 阅读

相关 Spark面试：Spark on yarn 运行流程

一： Spark on YARN能让Spark计算模型在云梯YARN集群上运行，直接读取云梯上的数据，并充分享受云梯YARN集群丰富的计算资源。二：基于YARN

ゝ一纸荒年。/ 2024年02月19日 15:08/ 0 赞/ 111 阅读

相关 Spark on YARN 两种模式yarn-cluster yarn-client 面试题

Spark On YARN：目前很有前景的部署模式，支持两种模式 1）yarn-cluster：适用于生产环境 2）yarn-client：适用于交互、调试、希望

约定不等于承诺〃/ 2024年02月19日 15:07/ 0 赞/ 103 阅读

相关 Spark on yarn

Spark-on-YARN 1. 官方文档 [http://spark.apache.org/docs/latest/running-on-yarn.html][h

淩亂°似流年/ 2023年08月17日 15:55/ 0 赞/ 180 阅读

相关 Running Spark on YARN

Table of Contents Launching Spark on YARN 添加 jar 准备配置 Debug Spark Properties 注意事

落日映苍穹つ/ 2023年06月19日 02:19/ 0 赞/ 102 阅读

相关 Spark On Yarn 运行模式（详细）

Spark 在spark 中，支持4中运行模式： 1）Local:开发时使用 2）Standalone: 是spark 自带的，如果一个集群是standalong

た入场券/ 2023年05月29日 03:37/ 0 赞/ 43 阅读

相关 Spark ON Yarn

![Center][] ![Center 1][] ![Center 2][] [Center]: /images/20220615/16e07676c89

超、凢脫俗/ 2022年06月15日 07:14/ 0 赞/ 248 阅读

相关 spark on yarn 配置

系统：centos7 软件： 1. hadoop-2.7.2.tar.gz，请勿选择src版本，否则需要自行编译 2. jdk-7u79-linux-x64.t

╰+攻爆jí腚メ/ 2022年06月03日 09:44/ 0 赞/ 295 阅读

相关 spark on yarn

Spark on yarn的两种运行模式和运行原理一回顾—spark和mapreduce区别在MapReduce中，计算的最上层单元是是job，系统加载数据，执行一

- 日理万妓/ 2022年03月29日 13:43/ 0 赞/ 309 阅读