案例实战Spark Streaming处理socket数据

妖狐艹你老母 2023-06-02 07:51 75阅读 0赞

数据统计

import org.apache.spark.SparkConf
    import org.apache.spark.streaming.{Seconds, StreamingContext}
    
    /**
      * Spark Streaming 处理Socket数据
      * 采用nc测试
      */
    object NetworkWordCount {
      def main(args: Array[String]): Unit = {
        val sparkConf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
        /**
          * 创建需要StreamingContext需要两个参数：SparkConf和batch interaal
          */
        val ssc = new StreamingContext(sparkConf,Seconds(5))
        val lines = ssc.socketTextStream("192.168.25.131",6789)
        val result = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
        result.print()
        ssc.start()
        ssc.awaitTermination()
      }
    }

测试：

![20191003231544334.png][]

![20191003232025215.png][]

实时统计：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDc5NDY0_size_16_color_FFFFFF_t_70][]

[20191003231544334.png]: /images/20230601/13016b78a7d648048be767442d16fbbe.png
[20191003232025215.png]: /images/20230601/a346a79115d542a5b4085be2504798a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDc5NDY0_size_16_color_FFFFFF_t_70]: /images/20230601/acf68065068744169e46944f04407f64.png

发表评论取消回复

表情：

评论列表（有 0 条评论，75人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java 8 Stream API：简化数据处理的实战案例

在Java 8引入的Stream API中，我们可以以更简洁、高效的方式处理大量数据。下面我将为你提供几个实战案例。 1. **过滤和分组**： ```java List<S

刺骨的言语ヽ痛彻心扉/ 2024年11月26日 05:45/ 0 赞/ 26 阅读

相关 [Spark、hadoop]Spark Streaming整合kafka实战

目录一．KafkaUtils.createDstream方式二．KafkaUtils.createDirectStream方式 -------------------

布满荆棘的人生/ 2024年04月03日 12:26/ 0 赞/ 141 阅读

相关【大数据入门核心技术-Spark】（十六）Spark Streaming实战案例2-WordCount

一、环境安装 [【大数据入门核心技术-Spark】（三）Spark 本地模式安装][-Spark_Spark] [【大数据入门核心技术-Spark】（四）Spar

逃离我推掉我的手/ 2024年03月25日 20:28/ 0 赞/ 93 阅读

相关【大数据入门核心技术-Spark】（十五）Spark Streaming实战案例-WordCount

一、环境安装 [【大数据入门核心技术-Spark】（三）Spark 本地模式安装][-Spark_Spark] [【大数据入门核心技术-Spark】（四）Spar

妖狐艹你老母/ 2024年03月25日 20:28/ 0 赞/ 136 阅读

相关 Spark Streaming处理File Streams

File Streams 官网：[http://spark.apache.org/docs/latest/streaming-programming-guide.html]

- 日理万妓/ 2024年02月19日 16:30/ 0 赞/ 108 阅读

相关 Spark Streaming处理Socket流简单实例

在本文中我将在IDEA工具中开发一个`SparkStream`程序用于监听本机9999端口所接收的数据首先，我们将`Spark Streaming`类的名称以及从`St

心已赠人/ 2023年06月09日 14:27/ 0 赞/ 48 阅读

相关 DStream实战之Spark Streaming接收socket数据实现WordCount 31

需求现在想要通过socket发送数据, 然后Spark Streaming接收数据并且统计socket发送的每个单词的个数. 1. 架构图 ![在这里插入图片描

蔚落/ 2023年06月07日 00:54/ 0 赞/ 301 阅读

相关案例实战Spark Streaming处理socket数据

数据统计 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Se

妖狐艹你老母/ 2023年06月02日 07:51/ 0 赞/ 76 阅读

相关 DStream实战之Spark Streaming整合fulme实战, Flume向Spark Streaming中push推数据 36

前言本文所需要的安装包&Flume配置文件,博主都已上传,链接为[本文涉及安装包&Flume配置文件][Flume]本文涉及的安装包&Flume配置文件,请自行下载~

Myth丶恋晨/ 2023年05月29日 03:35/ 0 赞/ 56 阅读

相关 Apache Spark Streaming 实战

原理（Streamming ） `Spark Streaming` 是核心 `Spark API` 的扩展，支持可扩展，高吞吐量，实时数据流的容错数据流处理。可以从 `so

矫情吗；*/ 2023年05月22日 08:50/ 0 赞/ 77 阅读