大数据实时阶段01：PySpark基础环境

朱雀 2023-10-16 17:44 36阅读 0赞

###  ###

1.1 Spark是什么

定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。

![图片][f5e1fe4b4d537f0cba6f091f7abb4d64.jpeg]

Spark 最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing，该论文是由加州大学柏克莱分校的 Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集（即 RDD）的概念。

![图片][d6edfe60359a7bab875c78ae0931db6c.jpeg]

翻译过来就是：RDD 是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个 Spark 的核心数据结构，Spark 整个平台都围绕着RDD进行。

定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。

![图片][3acd16ce91630a59bfe81df7429b656a.jpeg]

简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。

为什么Spark框架会如何的快呢？

数据结构（编程模型）：Spark框架核心

*  RDD：弹性分布式数据集，认为是列表List Spark 框架将要处理的数据封装到集合RDD中，调用RDD中函数处理数据 RDD 数据可以放到内存中，内存不足可以放到磁盘中

Task任务运行方式：以线程Thread方式运行

*  MapReduce中Task是以进程Process方式运行，当时Spark Task以线程Thread方式运行。
 *  线程Thread运行在进程Process中，启动和销毁是很快的（相对于进程来说）。

###  ###

1.2 Spark风雨十年

Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。

Spark的发展历史，经历过几大重要阶段，如下图所示：

![图片][be585341eec096a85bcdf18a5bdfb583.jpeg]

Stack Overflow的数据可以看出，2015年开始Spark每月的问题提交数量已经超越Hadoop，而2018年Spark Python版本的API PySpark每月的问题提交数量也已超过Hadoop。2019年排名Spark第一，PySpark第二；而十年的累计排名是Spark第一，PySpark第三。按照这个趋势发展下去，Spark和PySpark在未来很长一段时间内应该还会处于垄断地位。

![图片][81694606e90d75b59df966e01925b2ce.jpeg]

url:http://spark.apache.org/releases/spark-release-3-0-0.html

Python is now the most widely used language on Spark. PySpark has more than 5 million monthly downloads on PyPI, the Python Package Index. This release improves its functionalities and usability, including the pandas UDF API redesign with Python type hints, new pandas UDF types, and more Pythonic error handling.

###  ###

1.3 扩展阅读：Spark VS Hadoop

为什么Spark框架会如何的快呢？

<table> 
 <tbody> 
 <tr> 
 <th></th> 
 <th> Hadoop </th> 
 <th> Spark </th> 
 </tr> 
 <tr> 
 <td> 类型 </td> 
 <td> 基础平台, 包含计算, 存储, 调度 </td> 
 <td> 分布式计算工具 </td> 
 </tr> 
 <tr> 
 <td> 场景 </td> 
 <td> 大规模数据集上的批处理 </td> 
 <td> 迭代计算, 交互式计算, 流计算 </td> 
 </tr> 
 <tr> 
 <td> 价格 </td> 
 <td> 对机器要求低, 便宜 </td> 
 <td> 对内存有要求, 相对较贵 </td> 
 </tr> 
 <tr> 
 <td> 编程范式 </td> 
 <td> Map+Reduce, API 较为底层, 算法适应性差 </td> 
 <td> RDD组成DAG有向无环图, API 较为顶层, 方便使用 </td> 
 </tr> 
 <tr> 
 <td> 数据存储结构 </td> 
 <td> MapReduce中间计算结果在HDFS磁盘上, 延迟大 </td> 
 <td> RDD中间运算结果在内存中 , 延迟小 </td> 
 </tr> 
 <tr> 
 <td> 运行方式 </td> 
 <td> Task以进程方式维护, 任务启动慢 </td> 
 <td> Task以线程方式维护, 任务启动快 </td> 
 </tr> 
 </tbody> 
</table>

尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop

*  Spark主要用于替代Hadoop中的MapReduce计算模型。存储依然可以使用HDFS，但是中间结果可以存放在内存中；
 *  Spark已经很好地融入了Hadoop生态圈，并成为其中的重要一员，它可以借助于YARN实现资源调度管理，借助于HDFS实现分布式存储。
 *

面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？

答案：Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。

【扩展阅读】：线程基本概念

*  线程是CPU的基本调度单位
 *  一个进程一般包含多个线程, 一个进程下的多个线程共享进程的资源
 *  不同进程之间的线程相互不可见
 *  线程不能独立执行
 *  一个线程可以创建和撤销另外一个线程

###  ###

1.4 Spark四大特点

Spark 使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合一样轻松的操作分布式数据集。Spark具有运行速度快、易用性好、通用性强和随处运行等特点。

![图片][abd8c75724b999fc558f9ed1283280fb.png]

*  速度快

由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。

![图片][8bb0f74dc5d3453ea35a61271cd50a18.jpeg]

Spark处理数据与MapReduce处理数据相比，有如下两个不同点：

*  其一、Spark处理数据时，可以将中间处理结果数据存储到内存中；
 *  其二、Spark Job调度以DAG方式，并且每个任务Task执行以线程（Thread）方式，并不是像MapReduce以进程（Process）方式执行。

*  易于使用

Spark 的版本已经更新到 Spark 3.1.2（截止日期2021.06.01），支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景，Spark仍然持续更新Spark2版本。

![图片][2dca2ae39158c2811f3cc0141745e6c1.jpeg]

*  通用性强

在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库，我们可以在一个应用中无缝地使用这些工具库。

![图片][8b04485e6dd087da615d3bb757a96012.jpeg]

*  运行方式

Spark 支持多种运行方式，包括在 Hadoop 和 Mesos 上，也支持 Standalone的独立运行模式，同时也可以运行在云Kubernetes（Spark 2.3开始支持）上。

i、文件系统：LocalFS、HDFS、Hive、text、 parquet、orc、json、csv ii、数据库RDBMs：mysql、Oracle、mssql iii、NOSQL数据库：HBase、ES、Redis iv、消息对象：Kafka

对于数据源而言，Spark 支持从HDFS、HBase、Cassandra 及 Kafka 等多种途径获取数据。

###  ###

1.5 Spark 框架模块-了解

整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上

![图片][b6fc8c16ed130d1994ed341d90a9cb45.png]

![图片][761a9656687c0586936d1ed2d905e512.png]

*  实现了 Spark 的基本功能，包含RDD、任务调度、内存管理、错误恢复、与存储系统交互等模块。数据结构：RDD

![图片][5921f9e8305e6a7edaa4f5e15b363daa.png]

*  Spark 用来操作结构化数据的程序包。通过 Spark SQL，我们可以使用 SQL操作数据。数据结构：Dataset/DataFrame = RDD + Schema
 *  官网：http://spark.apache.org/sql/

整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上

![图片][ba49461f757c9c7e0951ad3c661617ac.png]

Spark 提供的对实时数据进行流式计算的组件。提供了用来操作数据流的 API。数据结构：DStream = Seq\[RDD\]，DStream离散化流

![图片][1cb92418864c3351adc67feff6f31dde.png]

提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。数据结构：RDD或者DataFrame。官网：http://spark.apache.org/mllib/

整个Spark 框架模块包含：Spark Coke、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上

![图片][9507e96aa0b683d7809045e4e715bb26.png]

Spark中用于图计算的API，性能良好，拥有丰富的功能和运算符，能在海 Structured Streaming结构化流处理模块针对，流式结构化数据封装到量数据上自如地运行复杂的图算法。数据结构：RDD或者DataFrame DataFrame中进行分析。

![图片][0ba4665196949ac0cee006ab60e98097.png]

Structured Streaming结构化流处理模块针对，流式结构化数据封装到DataFrame中进行分析。

整个Spark 框架通信采用模块：netty

什么是RPC：https://www.jianshu.com/p/2accc2840a1b

*  Spark 1.6，引入了Netty。
 *  Spark 2.0之后，完全使用Netty，并把akka移除了

###  ###

1.6 Spark的运行模式-了解

Spark提供多种运行模式，包括：

*  本地模式（单机）

本地模式就是以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境

*  Standalone模式（集群）

Spark中的各个角色以独立进程的形式存在，并组成Spark集群环境

*  Hadoop YARN模式（集群）

Spark中的各个角色运行在YARN的容器内部，并组成Spark集群环境

*  Kubernetes模式（容器集群）

Spark中的各个角色运行在Kubernetes的容器内部，并组成Spark集群环境

*  云服务模式（运行在云平台上）

![图片][dbdc57a92eb9b30f7a31aca334207d85.png]

###  ###

1.7 Spark的架构角色-理解

YARN角色回顾

YARN主要有4类角色，从2个层面去看：

资源管理层面

*  集群资源管理者（Master）：ResourceManager
 *  单机资源管理者（Worker）：NodeManager

任务计算层面

*  单任务管理者（Master）：ApplicationMaster
 *  单任务执行者（Worker）：Task（容器内计算框架的工作角色）

![图片][62de00a67cf8ea8582b80c9e8d5fd00d.png]

Spark运行角色

![图片][bbc1a02397cbe77cae50c266ccc6f880.png]

![图片][e2faa857e754a481f410df8287800a53.png]

![图片][5fa6fda82273a2c1fe36f5598a0df489.png]

[f5e1fe4b4d537f0cba6f091f7abb4d64.jpeg]: https://img-blog.csdnimg.cn/img_convert/f5e1fe4b4d537f0cba6f091f7abb4d64.jpeg
[d6edfe60359a7bab875c78ae0931db6c.jpeg]: https://img-blog.csdnimg.cn/img_convert/d6edfe60359a7bab875c78ae0931db6c.jpeg
[3acd16ce91630a59bfe81df7429b656a.jpeg]: https://img-blog.csdnimg.cn/img_convert/3acd16ce91630a59bfe81df7429b656a.jpeg
[be585341eec096a85bcdf18a5bdfb583.jpeg]: https://img-blog.csdnimg.cn/img_convert/be585341eec096a85bcdf18a5bdfb583.jpeg
[81694606e90d75b59df966e01925b2ce.jpeg]: https://img-blog.csdnimg.cn/img_convert/81694606e90d75b59df966e01925b2ce.jpeg
[abd8c75724b999fc558f9ed1283280fb.png]: https://img-blog.csdnimg.cn/img_convert/abd8c75724b999fc558f9ed1283280fb.png
[8bb0f74dc5d3453ea35a61271cd50a18.jpeg]: https://img-blog.csdnimg.cn/img_convert/8bb0f74dc5d3453ea35a61271cd50a18.jpeg
[2dca2ae39158c2811f3cc0141745e6c1.jpeg]: https://img-blog.csdnimg.cn/img_convert/2dca2ae39158c2811f3cc0141745e6c1.jpeg
[8b04485e6dd087da615d3bb757a96012.jpeg]: https://img-blog.csdnimg.cn/img_convert/8b04485e6dd087da615d3bb757a96012.jpeg
[b6fc8c16ed130d1994ed341d90a9cb45.png]: https://img-blog.csdnimg.cn/img_convert/b6fc8c16ed130d1994ed341d90a9cb45.png
[761a9656687c0586936d1ed2d905e512.png]: https://img-blog.csdnimg.cn/img_convert/761a9656687c0586936d1ed2d905e512.png
[5921f9e8305e6a7edaa4f5e15b363daa.png]: https://img-blog.csdnimg.cn/img_convert/5921f9e8305e6a7edaa4f5e15b363daa.png
[ba49461f757c9c7e0951ad3c661617ac.png]: https://img-blog.csdnimg.cn/img_convert/ba49461f757c9c7e0951ad3c661617ac.png
[1cb92418864c3351adc67feff6f31dde.png]: https://img-blog.csdnimg.cn/img_convert/1cb92418864c3351adc67feff6f31dde.png
[9507e96aa0b683d7809045e4e715bb26.png]: https://img-blog.csdnimg.cn/img_convert/9507e96aa0b683d7809045e4e715bb26.png
[0ba4665196949ac0cee006ab60e98097.png]: https://img-blog.csdnimg.cn/img_convert/0ba4665196949ac0cee006ab60e98097.png
[dbdc57a92eb9b30f7a31aca334207d85.png]: https://img-blog.csdnimg.cn/img_convert/dbdc57a92eb9b30f7a31aca334207d85.png
[62de00a67cf8ea8582b80c9e8d5fd00d.png]: https://img-blog.csdnimg.cn/img_convert/62de00a67cf8ea8582b80c9e8d5fd00d.png
[bbc1a02397cbe77cae50c266ccc6f880.png]: https://img-blog.csdnimg.cn/img_convert/bbc1a02397cbe77cae50c266ccc6f880.png
[e2faa857e754a481f410df8287800a53.png]: https://img-blog.csdnimg.cn/img_convert/e2faa857e754a481f410df8287800a53.png
[5fa6fda82273a2c1fe36f5598a0df489.png]: https://img-blog.csdnimg.cn/img_convert/5fa6fda82273a2c1fe36f5598a0df489.png