Spark常见问题整理--面试前必看

小鱼儿 2023-10-06 19:31 65阅读 0赞

### 一、job、stage、Task之间的关系是什么？ ###

*  一个job可以包含多个stage
 *  一个stage包含多个task

### 二、job、stage、Task之间的关系是什么？ ###

*  每提交一个任务，就会创建一个job，即调用action算子的时候会创建job【当调用算子之后返回值不是RDD类型的就可以归为Action算子】
 *  根据宽依赖和窄依赖划分stage，如果是宽依赖，就新增一个stage
 *  Task数量实际上就是分区的数量

### 三、什么是宽依赖、窄依赖？ ###

*  如果一个父RDD分区被多个子RDD的分区使用，就是宽依赖【超生】如果一个父RDD分区被多个子RDD的分区使用，就是宽依赖【超生】
 *  如果一个父RDD分区只被一个子RDD分区使用，就是窄依赖【独生】如果一个父RDD分区只被一个子RDD分区使用，就是窄依赖【独生】
 *  abstract class **Dependency**abstract class **Dependency**
    
     *  abstract class NarrowDependency extend **Dependency** 有一个抽象方法，getParents（）
        
         *  class OneToOneDependency extend **NarrowDependency** 实现抽象方法getParents（）
         *  class RangeDependency extend **NarrowDependency** 实现抽象方法getParents（）class RangeDependency extend **NarrowDependency** 实现抽象方法getParents（）
     *  class ShuffleDependency extend **Dependency**class ShuffleDependency extend **Dependency**

### 四、Action算子和Transformation算子是什么，列举一些？ ###

*  Action算子会创建job，会立即执行。 例如：take ，first，collect，foreach，foreachPartition。
 *  Transformation不会立即执行，但是里边会记录一些依赖关系，还有函数。 例如：map，filter，flatMap，reduceByKey，groupByKey等等。

### 五、reduceByKey和groupByKey有什么区别？ ###

**reduceByKey**：reduceByKey 会在结果发送至reducer 之前会对每个mapper 在本  
地进行merge，有点类似于在MapReduce 中的combiner。这样做的好处在于，  
在map 端进行一次reduce 之后，数据量会大幅度减小，从而减小传输，保证reduce  
端能够更快的进行结果计算。

**groupByKey**：groupByKey 会对每一个RDD 中的value 值进行聚合形成一个序列  
(Iterator)，此操作发生在reduce 端，所以势必会将所有的数据通过网络进行传输，  
造成不必要的浪费。同时如果数据量十分大，可能还会造成OutOfMemoryError。

结论：

**所以在进行大量数据的reduce 操作时候建议使用reduceByKey。不仅可以提高速**  
**度，还可以防止使用groupByKey 造成的内存溢出问题。**

### 六、RDD五大属性 ###

![请添加图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAWi1oaGhoaA_size_20_color_FFFFFF_t_70_g_se_x_16]

### 七、Spark的架构与作业提交流程 ###

![请添加图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAWi1oaGhoaA_size_20_color_FFFFFF_t_70_g_se_x_16 1]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAWi1oaGhoaA_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/29a87e00bc914f079ca48ea553e4e18a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAWi1oaGhoaA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAWi1oaGhoaA_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/84748941e3cf46a399921e2bb89f4445.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAWi1oaGhoaA==,size_20,color_FFFFFF,t_70,g_se,x_16