SparkStreaming运行原理及简介

心已赠人 2023-02-28 11:16 1阅读 0赞

参考文章：[Spark 以及 spark streaming 核心原理及实践][Spark _ spark streaming]

## 1. Spark Streaming运行原理 ##

spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。

![format_png][]

从原理上看，把传统的spark批处理程序变成streaming程序，spark需要构建什么？

![format_png 1][]

![format_png 2][]

**需要构建4个东西：**

> 1.  一个静态的 RDD DAG 的模板，来表示处理逻辑；
> 2.  一个动态的工作控制器，将连续的 streaming data 切分数据片段，并按照模板复制出新的 RDD ；
> 3.  DAG 的实例，对数据片段进行处理；
> 4.  Receiver进行原始数据的产生和导入；Receiver将接收到的数据合并为数据块并存到内存或硬盘中，供后续batch RDD进行消费；
> 5.  对长时运行任务的保障，包括输入数据的失效后的重构，处理任务的失败后的重调。

具体streaming的详细原理可以参考广点通出品的源码解析文章：

[https://github.com/lw-lin/CoolplaySpark/blob/master/Spark%20Streaming%20%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90%E7%B3%BB%E5%88%97/0.1%20Spark%20Streaming%20%E5%AE%9E%E7%8E%B0%E6%80%9D%E8%B7%AF%E4%B8%8E%E6%A8%A1%E5%9D%97%E6%A6%82%E8%BF%B0.md\#24][https_github.com_lw-lin_CoolplaySpark_blob_master_Spark_20Streaming_20_E6_BA_90_E7_A0_81_E8_A7_A3_E6_9E_90_E7_B3_BB_E5_88_97_0.1_20Spark_20Streaming_20_E5_AE_9E_E7_8E_B0_E6_80_9D_E8_B7_AF_E4_B8_8E_E6_A8_A1_E5_9D_97_E6_A6_82_E8_BF_B0.md_24]

**对于spark streaming需要注意以下三点：**

**  1> 尽量保证每个work节点中的数据不要落盘，以提升执行效率。**

![format_png 3][]

**2> 保证每个batch的数据能够在batch interval时间内处理完毕，以免造成数据堆积。**

![format_png 4][]

**3> 使用steven提供的框架进行数据接收时的预处理，减少不必要数据的存储和传输。从tdbank中接收后转储前进行过滤，而不是在task具体处理时才进行过滤。**

![format_png 5][]

![format_png 6][]

# #

--------------------

原文链接：[https://www.qcloud.com/community/article/770164][https_www.qcloud.com_community_article_770164]

[Spark _ spark streaming]: https://www.cnblogs.com/kdy11/p/10943547.html
[format_png]: /images/20230209/61a6fe5c63424fc49ffdd223db187d74.png
[format_png 1]: /images/20230209/c317653b04a040d694066d2b66114022.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ibG9nLTEwMDM5NjkyLmZpbGUubXlxY2xvdWQuY29tLzE0OTM3MTExNDQ1NjNfNDg0XzE0OTM3MTExNDUwODYucG5n?x-oss-process=image/format,png
[https_github.com_lw-lin_CoolplaySpark_blob_master_Spark_20Streaming_20_E6_BA_90_E7_A0_81_E8_A7_A3_E6_9E_90_E7_B3_BB_E5_88_97_0.1_20Spark_20Streaming_20_E5_AE_9E_E7_8E_B0_E6_80_9D_E8_B7_AF_E4_B8_8E_E6_A8_A1_E5_9D_97_E6_A6_82_E8_BF_B0.md_24]: https://github.com/lw-lin/CoolplaySpark/blob/master/Spark%20Streaming%20%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90%E7%B3%BB%E5%88%97/0.1%20Spark%20Streaming%20%E5%AE%9E%E7%8E%B0%E6%80%9D%E8%B7%AF%E4%B8%8E%E6%A8%A1%E5%9D%97%E6%A6%82%E8%BF%B0.md#24
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ibG9nLTEwMDM5NjkyLmZpbGUubXlxY2xvdWQuY29tLzE0OTM3MTEzNzMwMjBfNDQyOV8xNDkzNzExMzczNDc5LnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ibG9nLTEwMDM5NjkyLmZpbGUubXlxY2xvdWQuY29tLzE0OTM3MTEzOTAxNzBfMTIxOF8xNDkzNzExMzkwNjcyLnBuZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ibG9nLTEwMDM5NjkyLmZpbGUubXlxY2xvdWQuY29tLzE0OTM3MTE0MDgzMDdfMzI2XzE0OTM3MTE0MDg4MDkucG5n?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ibG9nLTEwMDM5NjkyLmZpbGUubXlxY2xvdWQuY29tLzE0OTM3MTE0MjUzNTNfMTk0M18xNDkzNzExNDI1NzI4LnBuZw?x-oss-process=image/format,png
[https_www.qcloud.com_community_article_770164]: https://www.qcloud.com/community/article/770164