[Spark、hadoop]Spark Streaming整合kafka实战

布满荆棘的人生 2024-04-03 12:26 83阅读 0赞

**目录**

一．KafkaUtils.createDstream方式

二．KafkaUtils.createDirectStream方式

--------------------

![9633f3bb7c3643d0a6989e51c0470ac6.gif\#pic\_center][9633f3bb7c3643d0a6989e51c0470ac6.gif_pic_center]

![c73378dcd2b9db255ba2facd9b682d42.png][]

#### 温习 ####

**Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。**

**①、Kafka的众多优点：其优点具体：**

**(1)解耦。Kafka 具备消息系统的优点,只要生产者和消费者数据两端遵循接口约束，就可以自行扩展或修改数据处理的业务过程。**

**(2)高吞吐量、低延迟。即使在非常廉价的机器上,Kafka也能做到每秒处理几十万条消息，而它的延迟最低只有几毫秒。**

**(3)持久性。Kafka 可以将消息直接持久化在普通磁盘上，且磁盘读写性能优异。**

**(4)扩展性。Kafka 集群支持热扩展，Kafka集群启动运行后,用户可以直接向集群添加新的Kafka服务。**

**(5)容错性。Kafka 会将数据备份到多台服务器节点中，即使Kafka集群中的某台节点宕机，也不会影响整个系统的功能。**

**(6)支持多种客户端语言。Kafka 支持Java.. NET .PHP、Python等多种语言。**

**Kafka使用消费组(Consumer Group)的概念统了点对点消息传递模式和发布订阅消息传递模式，当Kafka使用点对点模式时，它可以将待处理的工作任务平均分配给消费组。**

#### **一．KafkaUtils.createDstream方式** ####

**1.编写SparkStreaming\_Kafka\_createDstream.scala**

![481acee8bf84463faf993199d485e94a.png][]

**2.切到master节点上创建topic，指定消息的类别**

Cd /opt/module/kafka

bin/kafka-topics.sh --create --topic kafka_spark --partitions 3 --replication-factor 1 --zookeeper master:2181,slave1:2181,slave2:2181

![c341f9d047d24ecb9f433dccfc0b4970.png][]

**3.先运行程序，启动kafka的消息生产者**

[hadoop@master kafka]$ bin/kafka-console-producer.sh --broker-list master:9092 --topic kafka_spark

![0d857ee3b8514e2bb877c0b1020967c9.png][]

**4.在master节点发送消息，可以看到控制台输出内容**

kafka itcast itcast spark\_kafka spark\_kafka

![a1056857735a414583db60ff1b1aee15.png][]

#### **二．KafkaUtils.createDirectStream方式** ####

**1.编写SparkStreaming\_Kafka\_createDirectStream.scala并运行程序**

![07cefdfa46a2422da5d45f416e3ff910.png][]

**2.创建topic，发送消息**

[hadoop@master kafka]$ bin/kafka-topics.sh --create --topic kafka_direct0 --partitions 3 --replication-factor 1 --zookeeper master:2181,slave1:2181,slave2:2181

![ae2715d6b38d47d59caf4e64c39b942b.png][]

**3.启动kafka的消费生产者**

[hadoop@master kafka]$ bin/kafka-console-producer.sh --broker-list master:9092 --topic kafka_direct0

![0118ecc45651455ab81ac38a7bc0764f.png][]

**4.在master节点发送消息，可以看到控制台输出内容**

![e098a3cfacea47fea991d07d53f75fe2.png][]

[9633f3bb7c3643d0a6989e51c0470ac6.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/79a5252fa51048e2b18337b9835ef067.gif
[c73378dcd2b9db255ba2facd9b682d42.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/05a30e3cf1eb46798d80d93e935f382d.png
[481acee8bf84463faf993199d485e94a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6b4d8028b7cc4007bc8a4c86224b5e64.png
[c341f9d047d24ecb9f433dccfc0b4970.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/2c25bd0bfe934664941afd276602a4f7.png
[0d857ee3b8514e2bb877c0b1020967c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d6fb67fd913f4dfa88302ad2e61bbe35.png
[a1056857735a414583db60ff1b1aee15.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1289b003f99d490eaa0b2efec50d798a.png
[07cefdfa46a2422da5d45f416e3ff910.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/50596eaceb92418aa2f9b6f03927af65.png
[ae2715d6b38d47d59caf4e64c39b942b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/56090c565fb3402ebf27157c88356210.png
[0118ecc45651455ab81ac38a7bc0764f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/482a1928c55f44fb9aaa4ebd8bbdcc68.png
[e098a3cfacea47fea991d07d53f75fe2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/21f023a99ea14428af7f1b0745b23b6a.png