Spark_RDD ╰+哭是因爲堅強的太久メ 2021-12-19 23:41 332阅读 0赞 前文: RDD算子 一、基本操作(懒算子) 启动:sh spark-shell --master=local 1、不同输入集合 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70][] 2、创建、分区 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 1][] 3、读取文件 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 2][] 4、取值排序 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 3][] 5、Transformation(核心) ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 4][] 6、分组计算(核心) ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 5][] 7、交并集操作 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 6][] 8、乘积 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 7][] 二、Actions(执行) 1、List(Int) ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 8][] 2、(String,Int) ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 9][] 三、案例 1、倒排索引 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 10][] [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70]: /images/20211219/7d09de6694d346f8a1dbf4ce65ff9af0.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 1]: /images/20211219/add17aaa02874863bb46c2edad0f2b9b.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 2]: /images/20211219/d5f944ac48a542db9380caec0b97a491.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 3]: /images/20211219/9d0a30415ebf4bab9d5c86637ab5ef20.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 4]: /images/20211219/f549cae99b6649f7a19ebae75932bfcd.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 5]: /images/20211219/ef90661e4ea74210b616875e92c40062.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 6]: /images/20211219/40b76d88a990422fba96c9589f09a9a2.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 7]: /images/20211219/d9cd533c6ae24e59973c4e2edbac9728.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 8]: /images/20211219/df71e9fdd3bb4b17ac88480a7b80f35b.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 9]: /images/20211219/2c8f3d85bb5b4e70b8448bec9da841b1.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 10]: /images/20211219/e46ab72f19eb4907a8765d12bf016196.png
相关 SparkRDD常用算子实践(附运行效果图) 目录 1、简单算子说明 2、复杂算子说明 目录 SparkRDD算子分为两类:Transformation与Action. 逃离我推掉我的手/ 2022年06月03日 02:05/ 0 赞/ 221 阅读
相关 SparkRDD从6大方面详解 转自:https://blog.csdn.net/erfucun/article/details/51972225 一:RDD粗粒度与细粒度 粗粒度: 在程序启动前 刺骨的言语ヽ痛彻心扉/ 2022年05月27日 06:19/ 0 赞/ 292 阅读
相关 常用SparkRDD容易混淆的算子区别(Scala版本) 常用SparkRDD容易混淆的算子区别 1.map与flatMap的区别 初始化数据 val rdd1 = sc.parallelize(Arra た 入场券/ 2022年05月25日 05:41/ 0 赞/ 244 阅读
相关 用sparkRDD进行分组排序使用groupbykey+ flatmap + zipWithIndex val conf = new SparkConf().setAppName(“name”).setMaster(“local\[2\]”) val context = ne 港控/mmm°/ 2022年03月16日 03:54/ 0 赞/ 370 阅读
相关 常见的SparkRDD操作 常见的SparkRDD操作 sparkRDD的操作,从宏观上分为:Transformation和Action,但是具体的还以分为输入算子、变换算子、缓存算子,以及行动算子 谁借莪1个温暖的怀抱¢/ 2021年12月03日 04:43/ 0 赞/ 480 阅读
还没有评论,来说两句吧...