创建RDD3种方法, RDD算子分类, Transformation在worker中执行, Action算子在Driver中执行 08

ゞ浴缸里的玫瑰 2021-12-16 12:55 160阅读 0赞

# 创建RDD的3中方法 #

1.  有一个已经存在的Scala集合创建

val rdd = sc.parallelize(Array(1,2,3,4,5,6))

1.  有外部存储系统的文件创建,  
    包括本地的文件系统,还有所有Hadoop支持的数据集,比如HDFS,Cassandra,Hbase等

val rdd = sc.textFile("/words.txt")

1.  已有的RDD经过算子转换生成新的RDD

val rdd = rddOld.flatMap(_.split(" "))

# 2. RDD的算子分类 #

*  Transformation(转换): 根据数据集创建一个新的数据集,计算后返回一个新的RDD;  
    例如: 一个RDD进行Map操作后生成了一个新的RDD.
 *  Action(动作) : 对RDD结果计算后返回一个数值value给驱动程序;  
    例如: collect算子将数据集的所有元素收集完成返回给驱动程序.

# 3. Transformation #

*  RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结果.
 *  相反的,它们只是记住这些反应到基础数据集(例如一个文件)上的转换动作.
 *  只有当发生一个要求返回结果给Driver的动作时,这些转换才会真正运行.
 *  这种设计让Spark更加有效率地运行.
 *  **Transformation在worker中执行**

**常用的Transformation**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]

# 4. Action #

*  **Action算子在Driver中执行**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190705202111334.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]: /images/20211214/e17c79c5c453438f81c574cb6fc3b8fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]: /images/20211214/1844e918bdad47baa9b1e09a1018ad2d.png