大数据系列之Kafka安装

悠悠 2021-12-21 14:13 347阅读 0赞

相关链接：http://www.cnblogs.com/cnmenglang/p/6520166.html

先简单说下安装kafka的流程。。（可配置多个zookeeper，这篇文只说一个zookeeper场景）

1.环境配置：jdk1.7+ (LZ用的是jdk1.8)

2.资料准备：下载 kafka\_2.10-0.10.1.1.tgz ，官网链接为[https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka\_2.10-0.10.1.1.tgz][https_www.apache.org_dyn_closer.cgi_path_kafka_0.10.1.1_kafka_2.10-0.10.1.1.tgz][  
][Link 1]

3.单机版安装步骤：

a.将tgz放入目录： /app/

b.解压：

tar -xzvf kafka\_2.10-0.10.1.1.tgz

c.修改配置：(暂时可不修改)

d.启动zookeeper：在kafka文件夹下操作命令

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

e.验证启动状态: jps，出现红色尖头部分表示启动成功

f.启动kafka

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>bin/kafka-server-start.sh -daemon config/server.properties &amp;&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

g.验证kafka启动状态: jps

h.创建topic，名为slavetest

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic slavetest

i.topic为slavetest ，生产数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic slavetest

j.另打开一个终端连接操作，消费数据

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic slavetest --from-beginning</p> </td> 
  </tr> 
 </tbody> 
</table>

k.验证（Producer-Consumer）

l.End

4.分布式版安装步骤：

与单机版不同的是在于

注意事项

1.修改配置：config/server.properties

a.master节点上

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>broker.id=0</p> <p>zookeeper.connect=master:2181</p> </td> 
  </tr> 
 </tbody> 
</table>

b.slave节点上

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>broker.id=1</p> <p>zookeeper.connect=master:2181</p> </td> 
  </tr> 
 </tbody> 
</table>

2.slave不启动zk,可直接启动kafka

3.slave节点上开启消费命令时将localhost改为master

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic slavetest --from-beginning&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

验证：

1.master 节点生产者

2.master节点上消费者

3.slave节点上消费者

转载于:https://www.cnblogs.com/ylht/p/10173293.html

[https_www.apache.org_dyn_closer.cgi_path_kafka_0.10.1.1_kafka_2.10-0.10.1.1.tgz]: https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz
[Link 1]: http://www.cnblogs.com/cnmenglang/p/kafka_2.10-0.10.0.1.tgz