SparkStreaming演示

向右看齐 2022-05-17 06:18 207阅读 0赞

首先启动hadoop  
1.sparkstreaming监听端口计算wordcount  
  安装nc：yum install -y nc  
  启动一个socket服务端口：nc -lk 8888  
      
2.window窗口操作

3.mapWithState状态管理，实现全局累加器

4.用户行为分析系统  
\#在kafka中创建主题  
bin/kafka-topics.sh --create --zookeeper 192.168.183.100:2181 --replication-factor 1 --partitions 3 --topic DeviceEvents

\#查看kafka中已经创建的主题列表  
bin/kafka-topics.sh --list --zookeeper 192.168.183.100:2181

\#删除主题  
bin/kafka-topics.sh --delete --zookeeper 192.168.183.100:2181 --topic DeviceEvents

\#使用kafka自带的消费者客户端脚本  
bin/kafka-console-consumer.sh --zookeeper 192.168.183.100:2181 --from-beginning --topic DeviceEvents

\#创建mysql数据库streamdb  
create database streamdb

\#创建表device\_click  
CREATE TABLE \`device\_click\` (  
\`id\` int(11) NOT NULL AUTO\_INCREMENT,  
\`device\_id\` varchar(512) DEFAULT NULL,  
\`device\_type\` varchar(512) DEFAULT NULL,  
\`time\` varchar(512) DEFAULT NULL,  
\`click\_count\` int(11) NOT NULL,  
PRIMARY KEY  (\`id\`)  
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

\#kafka consumer参数  
val kafkaParams = Map\[String, Object\](  
      "bootstrap.servers" -> "192.168.183.102:9092,192.168.183.103:9092,192.168.183.104:9092",  
      "key.deserializer" -> classOf\[StringDeserializer\],  
      "value.deserializer" -> classOf\[StringDeserializer\],  
      "group.id" -> "deviceClickstream",  
      "auto.offset.reset" -> "earliest",  
      "enable.auto.commi" ->  (true: java.lang.Boolean)  
    )

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkStreaming (一) --------- SparkStreaming 概述

目录一、Spark Streaming 是什么 ? 二、Spark Streaming 的特点二、Spark Streaming 架构

小鱼儿/ 2024年04月07日 13:12/ 0 赞/ 68 阅读

相关 SparkStreaming概述

SparkStreaming概述 1.1 Spark Streaming是什么 ![在这里插入图片描述][20210126223839932.png] ![在这

忘是亡心i/ 2023年01月11日 13:00/ 0 赞/ 171 阅读

相关 Spark--sparkStreaming

概述 Spark Streaming是核心Spark API的扩展，可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如Kafka，Flume，Kines

左手的ㄟ右手/ 2022年05月17日 07:10/ 0 赞/ 260 阅读

相关 SparkStreaming演示

首先启动hadoop 1.sparkstreaming监听端口计算wordcount 安装nc：yum install -y nc 启动一个socket服务

向右看齐/ 2022年05月17日 06:18/ 0 赞/ 208 阅读

相关 sparkStreaming内核剖析

Receiver从kafka中接收的数据都是一条一条的数据，那么接下来，会将这一条一条的数据存储到currnetBuffer（ArrayBuffer）,这时有一个线程（Bloc

ゞ浴缸里的玫瑰/ 2022年05月16日 13:38/ 0 赞/ 251 阅读

相关 SparkStreaming DStream

DStream就是离散流，它代表了一个持续不断的数据流，DStream的内部，其实是一系列不断产生的RDD,RDD是Spark Core的核心抽象，DStream中的每个RDD

谁借莪１个温暖的怀抱￠/ 2022年05月16日 11:15/ 0 赞/ 237 阅读

相关 SparkStreaming例题

取材自官网http://Spark.apache.org 案例1：和集群搭配使用 package SparkStreaming import ja

太过爱你忘了你带给我的痛/ 2022年04月02日 07:26/ 0 赞/ 235 阅读

相关 SparkStreaming的案例

前文： SparkStreaming流处理基于SparkSql 一、完整流程 1、数据获取监听 ![watermark_type_ZmFuZ3po

桃扇骨/ 2021年12月18日 20:27/ 0 赞/ 313 阅读

相关 SparkStreaming

SparkStreaming 一、SparkStreaming简介 SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量

痛定思痛。/ 2021年11月23日 14:20/ 0 赞/ 368 阅读

相关 SparkStreaming简单介绍；SparkStreaming处理数据流程；SparkStreaming运行工作原理与简单优化

SparkStreaming简单介绍流式数据处理（stream processing）要处理的数据就像流水一样，源源不断的产生数据，需要实时进行处理

朱雀/ 2021年11月01日 06:32/ 0 赞/ 389 阅读