10.1 spark core — spark内核

小鱼儿 2022-05-19 00:24 188阅读 0赞

spark是开源的分布式计算框架(源码是scala编写的) [http://spark.apache.org/][http_spark.apache.org]

计算速度加快

编写加快

hadoop：在hdfs读取-->计算结果存到hdfs-->二次计算依然在hdfs上读取-->输出

spark:在hdfs上读取-->计算结果存在内存中-->二次计算在内存中读取-->输出结果可以保存到hdfs上

spark有四种运行模式：

local：多用在本地eclipse上进行测试，所有的[Spark][]进程均运行于同一个JVM中，并行处理则通过多线程来实现

standalone：集群单机模式，Spark集群由两类程序构成：一个驱动程序和多个执行程序。本地模式时所有的处理都运行在同一个JVM内，在集群模式时通常运行在多个不同的节点上。

集群单机模式通常包括：

１．一个运行Spark单机主进程和启动程序的主节点；

２．各自运行一个执行程序的进程的工作节点。

yarn：资源和任务管理框架

mesos：Ｍesos是一个开源集群计算框架

spark内核RDD:

弹性分布式数据集

spark中的RDDs让用户可以直接控制数据的共享。RDD具有可容错和并行数据结构特征，可以指定数据存储到硬盘还是内存、控制数据的分区方法并在数据集上进行种类丰富的操作

![70][]

RDD是一个弹性的分布式数据集

1，RDD是由一系列的partition组成

2，每一个算子实际上作用在每个partition上

3，RDD有一系列的依赖关系

4，分区器是作用在key,value格式的RDD上

分区器是在shuffle阶段起作用

GroupByKey,reduceByKey,join,sortByKey等这些算子会产生shuffle-->这些算子必须作用在KV格式RDD上

5，每一个RDD都会提供一批最佳计算位置

sc.textFile("path")

读取HDFS上的文件，但是spark没有提供读取HDFS文件的方法，所有底层还是使用MapReduce读取HDFS方法

spark在读取文件时，实际上先将文件进行划分切片splits,splits默认和block块一样大小

一个block对应一个partition

--------------------

![70 1][]

Driver:分发task到Worker节点执行 ，Driver是一个JVM进程进程，这个进程有SparkContext对象

Driver分发策略：数据本地化

Driver会有大量的网络通信： --Driver会跟集群进行频繁的通信

1，分发task

2，收集task计算结果

3，收集task执行结果

4，心跳信息 --worker想Master发送心跳只发送workerId

map算子特点：输入一条数据，输出一条数据，关系是一对一

flatMap：输入一条数据，输出多条数据

[http_spark.apache.org]: http://spark.apache.org/
[Spark]: http://lib.csdn.net/base/spark
[70]: /images/20220519/2f7f0266ec9b48729fb52b1f91449c02.png
[70 1]: /images/20220519/235ae5d072184592bd68bcc91d491741.png

发表评论取消回复

表情：

评论列表（有 0 条评论，188人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java-Spark系列4-spark内核概述

文章目录一.Spark核心组件 1.1 Cluster Manager(Master,ResourceManager) 1.2 Work

悠悠/ 2022年09月12日 10:55/ 0 赞/ 233 阅读

相关 Spark-内核原理

Spark-SQL 概述 Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。对于开发人员来讲,Spa

桃扇骨/ 2022年09月04日 04:59/ 0 赞/ 165 阅读

相关 Spark-内核原理了解

Spark内核 Spark内核概述 Spark 内核泛指 Spark 的核心运行机制,包括 Spark 核心组件的运行机制、Spark 任务调度机制、Spark 内

不念不忘少年蓝@/ 2022年08月29日 00:03/ 0 赞/ 112 阅读

相关 10.1 spark core — spark内核

spark是开源的分布式计算框架(源码是scala编写的) [http://spark.apache.org/][http_spark.apache.org] 计算速度加快

小鱼儿/ 2022年05月19日 00:24/ 0 赞/ 189 阅读

相关 [spark内核]shuffle机制

1.核心知识点目录： ![70][] 一概述 Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂在MapReduce框架，Sh

蔚落/ 2022年05月13日 10:44/ 0 赞/ 261 阅读

相关 Spark之Spark内核工作流程

这是一个较为细粒度的Spark运行流程。我们写的Spark程序叫做Application。 Application会通过spark-submit来提交给Spar

曾经终败给现在/ 2022年04月22日 18:08/ 0 赞/ 206 阅读

相关 spark-core学习笔记

1.spark和MapReduce比较： 1）MR是批量计算框架，Spark-Core也是批量计算框架 2）Spark相比MR速度快，MR作为一个job，在中间环节中结果

太过爱你忘了你带给我的痛/ 2022年03月11日 10:35/ 0 赞/ 180 阅读

相关 Spark内核解析2

Spark的交互流程- - -节点启动： ![20190609154253.png][] Master启动时首先创一个RpcEnv对象，负责管理所有通信逻辑 Mast

港控/mmm°/ 2022年01月17日 17:57/ 0 赞/ 194 阅读

相关 Spark内核解析1

Spark通讯架构脚本探究：概述 Spark 内核泛指 Spark 的核心运行机制，包括 Spark 核心组件的运行机制、Spark 任务调度机制、Spark 内

╰半夏微凉°/ 2022年01月17日 16:55/ 0 赞/ 152 阅读

相关 spark-core-> spark-sql: rdd转化为dataFrame

rdd.toDF val rdd1 = rdd.map(result => { val f1 = Bytes.toString(result.getV

一时失言乱红尘/ 2021年12月10日 16:25/ 0 赞/ 266 阅读