什么是Spark？Spark的核心模块、Spark的核心组件

末蓝、 2023-10-14 11:51 37阅读 0赞

**一、什么是Spark？**

**Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。**  因为以内存为基础，所以可以比MapReduce更快的处理数据。

Spark采用了RDD（弹性分布式数据集）这一抽象概念，提供了高效的数据存储和处理方式。Spark还具有较好的容错能力和可伸缩性，允许在集群上动态添加和删除节点，使得计算资源能够随着数据量和计算任务的变化而实现弹性扩展。

**二、Spark的核心模块：**

![up-d052360e5fe8ab4b7829fccd73e61bf1dbf.png][]

**Spark Core：**  Spark Core中提供了Spark最基础与最核心的功能，Spark的其他功能如：Spark SQL、Spark Streaming、GraphX、MLlib都是在Spark Core的基础上进行扩展的。

**Spark SQL：**  Spark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL 或 Hive 来查询数据。

**Spark Streaming：**  Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。

**三、Spark的核心组件：**

看组件之前，先看一下Spark的运行架构：

![up-ff93b0a319ada26ace147e2b7f2b1dfbb3e.png][]

**Spark框架的核心是一个计算引擎，整体来说，它采用了标准的master-slave主备结构。**

如上图所示，它展示了一个   Spark   执行时的基本结构。图形中的   Driver   表示   master   ，   负责管理整个集群中的作业任务调度。图形中的   Executor   则是   slave   ，负责实际执行任务。

**Spark的核心组件：**

**Master和Worker用于资源调度的，Driver和Executor用于计算的。**

**1.Master：**  master是一个进程，负责资源的调度和分配，并进行集群的监控等职责。类似于YARN中的ResourceManager。

**2.Worker：**  worker也是进程，一个Worker运行在集群中的一台服务器上，由Master分配资源对数据进行并行的处理和计算，类似于YARN中的NameNode。

**3.Driver：**  主要是执行程序的main方法，创建SparkContext对象。

**4.Executor：**  executor是集群中工作结点（Worker）中的一个JVM进程，负责在Spark中运行具体的任务（Task）。

**5.ApplicationMaster：**  用于ResourceManager（资源）和Driver（计算）之间的解耦合。

[up-d052360e5fe8ab4b7829fccd73e61bf1dbf.png]: https://oscimg.oschina.net/oscnet/up-d052360e5fe8ab4b7829fccd73e61bf1dbf.png
[up-ff93b0a319ada26ace147e2b7f2b1dfbb3e.png]: https://oscimg.oschina.net/oscnet/up-ff93b0a319ada26ace147e2b7f2b1dfbb3e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，37人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 核心组件解析

7.Spark 核心组件解析 7.1 BlockManager 数据存储与管理机制　　BlockManager 是整个 Spark 底层负责数据存储与管理的一...

深碍√TFBOYSˉ_/ 2024年04月20日 09:13/ 0 赞/ 107 阅读

相关软件架构的核心是什么

软件架构的核心是指在软件设计过程中确定的，用于支持软件系统整体构建和运行的框架、模型和原则。它是软件系统的重要基础，决定了软件系统的可扩展性、可维护性、可重用性和可测试性。软件

港控/mmm°/ 2024年03月26日 09:06/ 0 赞/ 90 阅读

相关 RPC框架的核心是什么

文章目录什么是 RPC 封装的艺术（如何隐藏底层逻辑）协议的实现序列化和反序列化（编解码）总结什么是 RPC 首先思考这样

小咪咪/ 2023年10月15日 12:59/ 0 赞/ 86 阅读

相关什么是Spark？Spark的核心模块、Spark的核心组件

一、什么是Spark？ Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。因为以内存为基础，所以可以比MapReduce更快的处理数据。 Spar

末蓝、/ 2023年10月14日 11:51/ 0 赞/ 38 阅读

相关 Netty 核心模块组件

Netty 核心模块组件 Bootstrap、ServerBootstrap Future、ChannelFuture Chann

Myth丶恋晨/ 2023年10月03日 09:48/ 0 赞/ 33 阅读

相关 spark核心模块

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIz

浅浅的花香味﹌/ 2022年12月28日 00:51/ 0 赞/ 359 阅读

相关干货丨Mybatis的核心组件是什么？

![d11b1fdf427c56770a7a5e0626992f4b.gif][] MyBatis是一个基于Java的持久层框架，所谓的持久层框架就是专门用来将数据进行持久化

小灰灰/ 2022年09月09日 11:57/ 0 赞/ 282 阅读

相关 Docker的核心是什么？

allowtransparency="true" frameborder="0" scrolling="no" src="http://hits.sinajs.cn/A1/we

冷不防/ 2022年08月08日 03:28/ 0 赞/ 297 阅读

相关 Netty--核心模块组件

Bootstrap、ServerBootstrap Bootstrap 意思是引导，一个 Netty 应用通常由一个 Bootstrap 开始，主要作用是配置整个 Net

Bertha 。/ 2021年08月26日 23:03/ 0 赞/ 493 阅读

相关什么是Spring？Spring的核心是什么？

1.Spring的核心控制反转(IoC)和面向切面(AOP) 2.IOC 也叫做：控制反转： Inversion Of Control 简称IOC IOC 就表示控...

╰半夏微凉°/ 2021年06月10日 10:32/ 0 赞/ 878 阅读