Spark任务流程笔记

我不是女神ヾ 2022-06-17 13:59 182阅读 0赞

Spark学习笔记总结

# 02. Spark任务流程 #

## 1. RDD的依赖关系 ##

RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）

*  窄依赖  
    窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用  
    总结：窄依赖我们形象的比喻为独生子女
 *  宽依赖  
    宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition

总结：窄依赖我们形象的比喻为超生（多个子女）  
查看RDD依赖关系：  
整个树形结构：rdd.toDebugString  
本身：rdd.dependencies

## 2. DAG的生成 ##

DAG，有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。

## 3. Spark任务执行流程 ##

大致分为4步：

1.  根据算子生成DAG
2.  将DAG根据宽依赖切分成任务集合的stages
3.  Driver将具体任务分发给Worker
4.  Worker中的executor执行任务
5.  DAGScheduler和TaskScheduler都在Driver中

## 4. wordcount执行流程 ##

##### 1. wc示例代码 #####

//textFile会产生两个RDD： 1. HadoopRDD -> MapPartitionsRDD
    sc.textFile(INPUT_PATH)
      //flatMap产生1个RDD：MapPartitionsRDD
      .flatMap { _.split(" ") }
      //map产生1个RDD：MapPartitionsRDD
      .map { (_, 1) }
      //reduceByKey产生了：ShuffledRDD
      .reduceByKey(_ + _)
      //暂时不管
      .sortBy(_._2, false)
      //saveAsTextFile产生1个RDD：MapPartitionsRDD
      .saveAsTextFile(OUTPUT_PATH)

一共产生了6个RDD

##### 2. 执行流程-切分stage #####

执行流程：

1.  根据宽依赖划分成了两个stage，后面一个stage需要等待前一个计算完成
2.  第一个stage中的taskSet包含了3个task
3.  一个task就是一个流水线pipelining，可以与其他task并行执行，在这里，任务内容是相同的，只是数据不同。

初接触，记下学习笔记，还有很多问题，望指导，谢谢。