Spark流处理中的DStrem.foreachRDD()方法

客官°小女子只卖身不卖艺 2022-06-16 11:08 160阅读 0赞

## Spark数据处理 ##

Spark作为分布式数据处理的一个开源框架，因其计算的高效性和简洁的API而广受欢迎。一般来说，Spark大部分时候被用来进行批处理。但现在Spark通过其SparkStreaming模块也实现了一定的流处理的功能。

## Spark流处理的过程 ##

Spark中的流处理实际上并不是真正的流处理。Spark实现流处理的方法是通过*mini-batch*来对输入数据进行分块（但这个分块频率非常高以至于能够模拟流处理的过程）。 在进行*mini-batch*分块的时候，Spark引入了*DStream*的概念。

所谓的`DStream`，或者说`Discretized Stream`指的是将连续的流数据分成小块批数据的抽象。这就是我们上面说的*mini-batch*过程。每一个*mini-batch*体现为一个所谓的*RDD*（Resilient Distributed Dataset）。而*RDD*被 交给Spark executor进行进一步的处理。对每一个*mini-batch*间隔对应的*DStream*来说，有且仅有一个*RDD*被产生。

一个*RDD*是一份分布式的数据集。我们可以把*RDD*当成指向集群中真正数据块的指针。

`DStream.foreachRDD()`方法实际上是Spark流处理的一个处理及输出*RDD*的方法。这个方法使我们能够访问底层的*DStream*对应的*RDD*进而根据我们需要的逻辑对其进行处理。例如，我们可以通过`foreachRDD()`方法来访问每一条*mini-batch*中的数据，然后将它们存入数据库。

这里需要注意的一点是*DStream*实际上是一组根据时间被分割出来的数据集合。这里我们可以通过如下两段程序来对比传统的集合和Spark中的时序集合*DStream*的区别。

userList = [something...]
    userList.foreach(lambda user:doSomething(user))

这段程序将会对`userList`集合中的每一个元素执行`doSomething()`函数。

在流处理问题中，我们所面对的不同情况是我们提前并不知道所有的元素。因此我们无法将它们都放入一个`list`中。相反的，我们对于流中的每一个元素执行某种操作，就好像意见饭店不断服务前来吃饭的客人一样。

# A DStream of user
    userDStream = ???
    
    # For each RDD batch, process each element in it
    userDStream.foreachRDD(lambda userbatch:userbatch.foreach(doSomeThing(user)))

需要注意的是：

*  `DStream.foreachRDD()`传给我们的参数是一个`RDD[userbatch]`，而不是单个的user。用上面饭店的例子来讲，我们得到的不是一个单个的客人，而是某一个时间段内到来的一波客人。因此我们需要进一步循环来根据需要处理其中每一个`user`。
 *  我们不能用传统的`for ele in iterable`方法来循环其中的元素。因此我们需要用`rdd.foreach()`来分别处理其中每一个`user`。

进一步分析Spark的流处理过程：我们拥有几个Spark的executor。对于稳定到来的数据流，**Spark Streaming**负责根据一定的时间间隔将流输入分成小的数据块（*batch*），然后Spark将这些小数据块（*mini-batch*）分配给不同的executor，就像饭店将不同的顾客分配给不同的服务员一样。通过这样的操作，Spark实现了并行的数据计算，从而加速了数据处理的速度。