如何永久删除Kafka的Topic

悠悠 2022-01-25 22:23 302阅读 0赞

**1.问题描述**

使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。

**2.问题复现**

1.登录Kafka集群所在的服务器，创建一个test的topic

\[root@cdh1 ~\]\# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic]

2.查看新创建的topic

\[root@cdh1 ~\]\# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 1]

3.通过如下命令删除新建的topic

\[root@cdh1 ~\]\# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 2]

此处显示“Topic test is marked for deletion”

4.尝试重新创建一个test的Topic

\[root@cdh1 ~\]\# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 3]

提示该Topic已存在，说明在第3步操作的删除并没有真正的将Topic删除。

**3.问题原因**

默认情况下Kafka是禁用了删除Topic的操作，所以在执行Topic删除的时候只是将删除的Topic标记为“marked for deletion”状态。可以通过修改Kafka服务的配置参数启用。

**4.解决方法**

**4.1方法1**

在kafka服务配置delete.topic.enable=false的情况下，如果需要永久删除topic则需要做如下操作：

*  通过kafka命令删除相应的topic
 *  在zookeeper中删除相应的topic
 *  在topic所在的broker节点上删除topic的log数据

操作如下：

1.查看topic的描述信息，命令如下

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 4]

上图标注部分为topic对应的数据存放节点

2.通过kafka命令删除，命令如下：

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 5]

3.通过zookeeper客户端删除topic，命令如下

zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181

ls /brokers/topics

rmr /brokers/topics/test

注：标红部分为topic的名称

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 6]

4.登录到第1步中列出的对应节点的topic的log数据目录，此处我们Kafka的log.dirs目录配置为/var/local/kakfa，执行命令

\[ec2-user@ip-172-31-9-186 data\]$ sudo rm -rf test-0/

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 7]

5.验证是否生效

创建一个名称为“test”的Topic，可以正常创建

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 8]

注意：此处将topic为test的日志目录（/var/local/kafka/test-0）删除后，新创建的topic为test的日志目录不存在，重启Kafka服务后正常，目录能正常显示。

**4.2方法2**

在Kafka服务已配置delete.topic.enable=true的情况下，永久删除topic需要做如下操作：

*  使用kafka命令删除topic

操作如下：

1.  删除前数据查看：

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 9]

各个数据节点的信息：

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 10]

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 11]

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 12]

Zookeeper信息：

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 13]

2.通过kafka命令删除需要删除的topic，命令如下

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 14]

3.查看Zookeeper客户端topic信息

\[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9\] ls /brokers/topics

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 15]

4.查看brober节点上topic的日志数据

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 16]

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 17]

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 18]

5.删除后成功后，验证是否能创建名称为test的Topic

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 19]

注意：

如果Kafka服务配置了delete.topic.enable=true，直接通过命令行删除，未能删除Topic则可以通过zookeeper-client来进行删除。

如果Kafka服务未配置delete.topic.enable=true，直接通过delete命令删除topic，删除时只会将topic标记为“marked for deletion”，然后通过zookeeper-client进行删除是不会删除topic的data.log数据目录的，需要将相应的broker服务器上的data.log目录下相应的topic目录删除，data.log目录获取，可以通过CM界面查看：

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 20]

建议：Kafka服务开启delete.topic.enable=true，开启方式如下：

![0022-如何永久删除Kafka的Topic][0022-_Kafka_Topic 21]

开启后需要重启Kafka服务。

[0022-_Kafka_Topic]: https://ask.qcloudimg.com/http-save/yehe-1522219/2bulyx78hb.jpeg
[0022-_Kafka_Topic 1]: https://ask.qcloudimg.com/http-save/yehe-1522219/76xwelxaw2.jpeg
[0022-_Kafka_Topic 2]: https://ask.qcloudimg.com/http-save/yehe-1522219/ymbibg6pe9.jpeg
[0022-_Kafka_Topic 3]: https://ask.qcloudimg.com/http-save/yehe-1522219/3z6umi0olz.jpeg
[0022-_Kafka_Topic 4]: https://ask.qcloudimg.com/http-save/yehe-1522219/kb650u4oif.jpeg
[0022-_Kafka_Topic 5]: https://ask.qcloudimg.com/http-save/yehe-1522219/2niyhm0n87.jpeg
[0022-_Kafka_Topic 6]: https://ask.qcloudimg.com/http-save/yehe-1522219/zfo9d0390v.jpeg
[0022-_Kafka_Topic 7]: https://ask.qcloudimg.com/http-save/yehe-1522219/28kilyrvfj.jpeg
[0022-_Kafka_Topic 8]: https://ask.qcloudimg.com/http-save/yehe-1522219/oykevey50b.jpeg
[0022-_Kafka_Topic 9]: https://ask.qcloudimg.com/http-save/yehe-1522219/l0zxjosdck.jpeg
[0022-_Kafka_Topic 10]: https://ask.qcloudimg.com/http-save/yehe-1522219/vc4e9gltxz.jpeg
[0022-_Kafka_Topic 11]: https://ask.qcloudimg.com/http-save/yehe-1522219/v58t1w5ah2.jpeg
[0022-_Kafka_Topic 12]: https://ask.qcloudimg.com/http-save/yehe-1522219/1y5h95bh3u.jpeg
[0022-_Kafka_Topic 13]: https://ask.qcloudimg.com/http-save/yehe-1522219/lrlzs3tk2y.png
[0022-_Kafka_Topic 14]: https://ask.qcloudimg.com/http-save/yehe-1522219/c1e70cqob6.jpeg
[0022-_Kafka_Topic 15]: https://ask.qcloudimg.com/http-save/yehe-1522219/ggmis4qqtv.png
[0022-_Kafka_Topic 16]: https://ask.qcloudimg.com/http-save/yehe-1522219/n8hrgxbpon.jpeg
[0022-_Kafka_Topic 17]: https://ask.qcloudimg.com/http-save/yehe-1522219/ahooaj2ulo.jpeg
[0022-_Kafka_Topic 18]: https://ask.qcloudimg.com/http-save/yehe-1522219/tc50n5jnbp.jpeg
[0022-_Kafka_Topic 19]: https://ask.qcloudimg.com/http-save/yehe-1522219/lctfe7n486.jpeg
[0022-_Kafka_Topic 20]: https://ask.qcloudimg.com/http-save/yehe-1522219/zeoe336bah.jpeg
[0022-_Kafka_Topic 21]: https://ask.qcloudimg.com/http-save/yehe-1522219/1i2qvbi2b0.jpeg