Streaming-WordCount案例实操

灰太狼 2023-02-19 13:29 12阅读 0赞

1．需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数  
2．添加依赖

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>2.1.1</version>
    </dependency>

编写代码

import org.apache.spark.SparkConf
    import org.apache.spark.streaming.{ Seconds, StreamingContext}
    
    object SparkStream_WordCount { 
    
      def main(args: Array[String]): Unit = { 
    
        //使用SparkStream完成WordCount
    
        //Spark配置对象
        val sparkConf = new SparkConf().setMaster("local[*]").setAppName("wordcount")
    
        //实时数据分析的环境对象
        //采集周期，以指定的时间为周期采集实时数据
    
        val streamingContext = new StreamingContext(sparkConf, Seconds(3))
    
        //从指定的端口中采集数据
        val socketDStream = streamingContext.socketTextStream("hadoop102", 9999)
    
        //将采集的数据进行分解（扁平化）
        val wordDStream = socketDStream.flatMap(line => line.split(" "))
    
        //将数据进行结构的转换，方便统计分析
        val mapDStream = wordDStream.map((_, 1))
    
        //将转换结构的数据进行聚合处理
        val wordToSumDStream = mapDStream.reduceByKey(_ + _)
    
        //将结果打印出来
        wordToSumDStream.print()
    
        //能停止采集程序
    
        //启动采集器
        streamingContext.start()
        //Driver等待采集器执行
        streamingContext.awaitTermination()
    
      }
    
    }

4．启动程序并通过NetCat发送数据：

nc -lk 9999

建议把日志不打印  
请看

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 案例实操

案例实操　　Spark Shell 仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在 IDE 中编制程序，然后打成 jar 包，然后提交到集群，最常用...

超、凢脫俗/ 2024年04月20日 09:09/ 0 赞/ 77 阅读

相关 Flink windowAll 函数案例代码实操

，先创建一个生产者模拟数据 > package com.coder.flink.core.a_bilibili; > > import co...

太过爱你忘了你带给我的痛/ 2024年04月17日 16:02/ 0 赞/ 57 阅读

相关 azkaban --- 案例实操

目录案例一：输出Hello World 案例二：作业依赖案例三：内嵌工作流案例四：自动失败案例五：手动失败案例六：JavaProcess

蔚落/ 2024年03月22日 17:14/ 0 赞/ 98 阅读

相关 Streaming-WordCount案例实操

1．需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数 2．添加依赖 <dependen

灰太狼/ 2023年02月19日 13:29/ 0 赞/ 13 阅读

相关 Azkaban配置Work Flow案例实操

Work Flow案例实操目录 Work Flow案例实操 1. Yarm语法简介 2. HelloWorld案例

Love The Way You Lie/ 2023年01月06日 11:38/ 0 赞/ 168 阅读

相关 Kafka-API使用以及案例实操

Kafka API Producer API 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式（拉取到了数据就发送，不会等待上一

小灰灰/ 2022年09月09日 06:21/ 0 赞/ 206 阅读

相关 MapReduce练习之WordCount案例实操

MapReduce练习之WordCount案例实操 1.需求 2.数据准备 3.分别编写Mapper、Reducer、Driver 3.1编

超、凢脫俗/ 2022年03月31日 16:20/ 0 赞/ 227 阅读

相关 Hive 数据类型与案例实操

Hive 数据类型与案例实操基本数据类型 <table> <thead> <tr> <th>Hive数据类型</th> <th>Ja

太过爱你忘了你带给我的痛/ 2022年02月12日 18:04/ 0 赞/ 294 阅读

相关 Flume 案例实操 - 监控端口数据

需求分析首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。 1. Flume

怼烎@/ 2022年01月30日 06:15/ 0 赞/ 695 阅读

相关 Flink 项目案例实操01

项目详情：[https://yq.aliyun.com/articles/691495][https_yq.aliyun.com_articles_691495] 基于实时计

清疚/ 2022年01月05日 23:49/ 0 赞/ 339 阅读