Spark系列--SparkCore(一)RDD简介

怼烎@ 2022-05-20 04:55 259阅读 0赞

## 前言 ##

RDD是Spark的基石，是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢？

Hadoop的MapReduce是一种基于数据集的工作模式，面向数据，这种工作模式一般是从存储上加载数据集，然后操作数据集，最后写入物理存储设备。数据更多面临的是一次性处理。

MR的这种方式对数据领域两种常见的操作不是很高效。第一种是迭代式的算法。比如机器学习中ALS、凸优化梯度下降等。这些都需要基于数据集或者数据集的衍生数据反复查询反复操作。MR这种模式不太合适，即使多MR串行处理，性能和时间也是一个问题。数据的共享依赖于磁盘。另外一种是交互式数据挖掘，MR显然不擅长。

**MR中的迭代：**

![这里写图片描述][70]

**Spark中的迭代：**

![这里写图片描述][70 1]

## 一、RDD简介 ##

RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。

**RDD 其实是spark为了减少用户对于不同数据结构之间的差异而提供的数据封装，为用户提供了很多数据处理的操作。**

**RDD三个特点：**

1、**不可变**，在RDD上调用转换算子，会生成一个新的RDD，不会更改原RDD的数据结构。

2、**可分区**，RDD的数据可以根据配置分成多个分区，每个分区都被一个Task任务去处理，你可以认为分区数就是并行度

3、**弹性**：

*  存储的弹性，RDD的数据可以在内存和磁盘进行自动切换，对用户透明。

> Spark优先把数据放到内存中，如果内存放不下，就会放到磁盘里面，程序进行自动的存储切换

*  计算的弹性，RDD的计算之间会有重试机制，避免由于网络等原因导致的任务失败。
 *  容错的弹性，RDD可以通过血统机制来进行RDD的恢复。

> 在RDD进行转换和动作的时候，会形成RDD的Lineage依赖链，当某一个RDD失效的时候，可以通过重新计算上游的RDD来重新生成丢失的RDD数据。

*  分区的弹性，你可以根据需求来动态改变RDD分区的分区数，也就是动态改变了并行度。

## 二、Spark到底做了什么？ ##

从外部空间将数据加载到Spark，对数据进行转换、缓存最后将数据通过行动操作保存到外部空间。

![这里写图片描述][70 2]

RDD来说有两种处理数据的方式，一种叫转换操作【一个RDD调用该方法后返回一个RDD】，另外一种叫行动操作【一个RDD调用该方法后返回一个标量或者直接将数据保存到外部空间】

**RDD是懒执行的，如果没有行动操作出现，所有的转换操作都不会执行。**

[70]: /images/20220520/4d0e8446919c42748f36baf58f769993.png
[70 1]: /images/20220520/174adaba6c9c49a3aef35531df7d0a95.png
[70 2]: /images/20220520/8e74f2da7d194a9f913c851614093c9a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，259人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkCore RDD概述

1 RDD 概述 1.1 什么是 RDD 　　RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本...

ゝ一纸荒年。/ 2024年04月20日 09:08/ 0 赞/ 68 阅读

相关 SparkCore（二）：RDD基础

文章目录一、什么是RDD 二、RDD核心属性三、RDD执行原理四、RDD创建 `Spark`计算框架为了能够进行高并发和高吞吐的数据处理，

青旅半醒/ 2022年12月08日 04:17/ 0 赞/ 195 阅读

相关 SparkCore（一）：Spark简介和运行环境的搭建

文章目录一、Spark简介 1.1 Hadoop的发展 1.2 Spark介绍 1.3 Spark or Hadoop

左手的ㄟ右手/ 2022年12月01日 15:56/ 0 赞/ 142 阅读

相关【Spark入门（2）】SparkCore之RDD核心编程

【时间】2021.10.26 【题目】【Spark入门（2）】SparkCore之RDD核心编程一、引言本文是课程[尚硅谷大数据Spark教程][Sp

￡神魔★判官ぃ/ 2022年09月17日 04:24/ 0 赞/ 189 阅读

相关 Spark系列--SparkCore(三)RDD基本操作

前言 RDD的基本操作分为两种，一种是转换Transformation，一种是行动Action RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反

r囧r小猫/ 2022年05月20日 05:06/ 0 赞/ 222 阅读

相关 Spark系列--SparkCore(二)RDD创建方式

一、RDD的创建方式创建RDD的创建方式大概可以分为三种：从集合中创建RDD；从外部存储创建RDD；从其他RDD转换。 1.1 从集合中创

桃扇骨/ 2022年05月20日 05:04/ 0 赞/ 199 阅读

相关 Spark系列--SparkCore(一)RDD简介

前言 RDD是Spark的基石，是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢？ Hadoop的MapReduce是一种基于数据集的工作模式，面向数据，这

怼烎@/ 2022年05月20日 04:55/ 0 赞/ 260 阅读

相关 Spark系列--SparkCore(六)RDD分区详解

转载自：[https://blog.csdn.net/jiangsanfeng1111/article/details/78191891][https_blog.csdn.ne

柔情只为你懂/ 2022年05月19日 03:44/ 0 赞/ 229 阅读

相关 Spark系列--SparkCore(五)RDD容错性之cache、persist、checkpoint

一、RDD容错性理解RDD的容错性： RDD可以通过血统机制来进行RDD的恢复。在RDD进行转换和动作的时候，会形成RDD的Lineage依赖链，当某一个RDD失效的

悠悠/ 2022年05月19日 03:21/ 0 赞/ 244 阅读

相关 Spark系列--SparkCore(四)RDD的依赖关系及运行规划

本篇以WordCount为例，去分析RDD的依赖关系和任务切分机制，分析样例如下： sc.textFile(“xx") .flatMap(_.spli

偏执的太偏执、/ 2022年05月19日 02:53/ 0 赞/ 206 阅读