spark实战java_Scala和Java二种方式实战Spark Streaming开发

ゝ一世哀愁。 2022-11-08 05:58 239阅读 0赞

一、Java方式开发

1、开发前准备

假定您以搭建好了Spark集群。

2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。

![7ed364350fd53e1f4e42337b3ee26bba.png][]

3、Spark streaming 基于Spark Core进行计算，需要注意事项：

设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark Streaming应用程序在运行的时候，至少有一条线程用于不断的循环接收数据，并且至少有一条线程用于处理接收的数据(否则的话无法有线程用于处理数据)，随着时间的推移，内存和磁盘都会不堪重负)。

温馨提示：

对于集群而言，每隔exccutor一般肯定不只一个Thread，那对于处理Spark Streaming应用程序而言，每个executor一般分配多少core比较合适？根据我们过去的经验，5个左右的core是最佳的(段子:分配为奇数个core的表现最佳,例如：分配3个、5个、7个core等)

接下来，让我们开始动手写写Java代码吧！

第一步：

![858d828387d115344583ea7781d01ae0.png][]

第二步：

![5e2a21836e612730fd9f603ae23028d6.png][]

我们采用基于配置文件的方式创建SparkStreamingContext对象

![9ea3344de6232e203ebd045554af9592.png][]

![31cea581d15518270dcffb475476f519.png][]

第三步,创建Spark Streaming输入数据来源:

我们将数据来源配置为本地端口9999(注意端口要求没有被占用):

![bc5d262b0b8260ec6090362bdff54117.png][]

第四步：我们就像对RDD编程一样，基于DStream进行编程，原因是DStream是RDD产生的模板，在Spark Streaming发生计算前，其实质是把每个Batch的DStream的操作翻译成为了RDD操作。

1、flatMap操作：

![d00ff092491e340d6618da32d46c4092.png][]

2、 mapToPair操作：

![ebf7a1739fb221321e15dd4d8c9d1a40.png][]

3、reduceByKey操作：

![edba6b7029c4d2ca0bf78ba7f83310a5.png][]

4、print等操作：

![7de5a1a01d9ecbbc3513b0caad7cf650.png][]

温馨提示：

除了print()方法将处理后的数据输出之外，还有其他的方法也非常重要，在开发中需要重点掌握，比如SaveAsTextFile,SaveAsHadoopFile等，最为重要的是foreachRDD方法，这个方法可以将数据写入Redis,DB,DashBoard等，甚至可以随意的定义数据放在哪里，功能非常强大。

二、Scala方式开发

第一步，接收数据源：

![4945a4d9196ee787e1052c7d95f4bfdf.png][]

第二步，flatMap操作：

![25aeee41e5f1b2631beb2503967435dc.png][]

第三步，map操作：

![a9630a3b896ea8b04eef2d39f86ede6e.png][]

第四步，reduce操作：

![ef63fc94c4911381a491d257a4a62f85.png][]

第五步，print()等操作：

![46ba6503d99bdb20bf706b281d6cb061.png][]

第六步：awaitTermination操作

![fb02ded795df896a2916a6a58cc8acf6.png][]

[7ed364350fd53e1f4e42337b3ee26bba.png]: /images/20221023/04d7384d33f9483e8e60d9fdc64ab742.png
[858d828387d115344583ea7781d01ae0.png]: /images/20221023/2965c363af6d4f4a858318a193c26f7c.png
[5e2a21836e612730fd9f603ae23028d6.png]: /images/20221023/f336234ba6ef44bf939350115f003707.png
[9ea3344de6232e203ebd045554af9592.png]: /images/20221023/8377b7d2d300461982bf8695cdf9d49a.png
[31cea581d15518270dcffb475476f519.png]: /images/20221023/7acddc320b974aa7b5dc129319357a5c.png
[bc5d262b0b8260ec6090362bdff54117.png]: /images/20221023/70e36f93f69f4b2a86ab80f0f8836efe.png
[d00ff092491e340d6618da32d46c4092.png]: /images/20221023/b2ba1943cc594d8daac70651dcf28784.png
[ebf7a1739fb221321e15dd4d8c9d1a40.png]: /images/20221023/34198a54ffb246d8ae73de4bbd6bc571.png
[edba6b7029c4d2ca0bf78ba7f83310a5.png]: /images/20221023/04cee501b6654259a9e82ee1c32c2fba.png
[7de5a1a01d9ecbbc3513b0caad7cf650.png]: /images/20221023/f6da787cfee14d98ad9b20fd9ec14743.png
[4945a4d9196ee787e1052c7d95f4bfdf.png]: /images/20221023/278ebf886cf148c28e873c20db21fbce.png
[25aeee41e5f1b2631beb2503967435dc.png]: /images/20221023/0f33c8e3036b46e892ad5b5e5250506a.png
[a9630a3b896ea8b04eef2d39f86ede6e.png]: /images/20221023/12173a795efc4dcb8fd896125d7f3b2a.png
[ef63fc94c4911381a491d257a4a62f85.png]: /images/20221023/1af58168039f417e8d3d3bdf89088fb1.png
[46ba6503d99bdb20bf706b281d6cb061.png]: /images/20221023/66da2d77819c4c31a57f8b160f77421a.png
[fb02ded795df896a2916a6a58cc8acf6.png]: /images/20221023/50301b5dd5414138a27ea352d3398689.png