1.【kafka运维】TopicCommand运维脚本(1)

末蓝、 2023-01-23 05:58 27阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70_pic_center]

### 文章目录 ###

*   *  TopicCommand
     *   *  1.Topic创建
         *  2.删除Topic
         *  3.Topic分区扩容
         *  4.查询Topic描述
         *  5.查询Topic列表
     *  More

> **日常运维**  
> **问题排查**  
> 怎么能够少了滴滴开源的  
> [滴滴开源LogiKM一站式Kafka监控与管控平台][LogiKM_Kafka]

## TopicCommand ##

### 1.Topic创建 ###

> `bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --topic test`

--------------------

相关可选参数

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>描述</th> 
   <th>例子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--bootstrap-server</code> 指定kafka服务</td> 
   <td>指定连接到的kafka服务; 如果有这个参数,则 <code>--zookeeper</code>可以不需要</td> 
   <td>–bootstrap-server localhost:9092</td> 
  </tr> 
  <tr> 
   <td><code>--zookeeper</code></td> 
   <td>弃用, 通过zk的连接方式连接到kafka集群;</td> 
   <td>–zookeeper localhost:2181 或者localhost:2181/kafka</td> 
  </tr> 
  <tr> 
   <td><code>--replication-factor</code></td> 
   <td>副本数量,注意不能大于broker数量;如果不提供,则会用集群中默认配置</td> 
   <td>–replication-factor 3</td> 
  </tr> 
  <tr> 
   <td><code>--partitions</code></td> 
   <td>分区数量,当创建或者修改topic的时候,用这个来指定分区数;如果创建的时候没有提供参数,则用集群中默认值; 注意如果是修改的时候,分区比之前小会有问题</td> 
   <td>–partitions 3</td> 
  </tr> 
  <tr> 
   <td><code>--replica-assignment</code></td> 
   <td>副本分区分配方式;创建topic的时候可以自己指定副本分配情况;</td> 
   <td><code>--replica-assignment</code> BrokerId-0:BrokerId-1:BrokerId-2,BrokerId-1:BrokerId-2:BrokerId-0,BrokerId-2:BrokerId-1:BrokerId-0 ; 这个意思是有三个分区和三个副本,对应分配的Broker; 逗号隔开标识分区;冒号隔开表示副本</td> 
  </tr> 
  <tr> 
   <td><code>--config</code>&lt;String: name=value&gt;</td> 
   <td>用来设置topic级别的配置以覆盖默认配置;<strong>只在–create 和–bootstrap-server 同时使用时候生效</strong>; 可以配置的参数列表请看文末附件</td> 
   <td>例如覆盖两个配置 <code>--config retention.bytes=123455 --config retention.ms=600001</code></td> 
  </tr> 
  <tr> 
   <td><code>--command-config</code> &lt;String: command 文件路径&gt;</td> 
   <td>用来配置客户端Admin Client启动配置,<strong>只在–bootstrap-server 同时使用时候生效</strong>;</td> 
   <td>例如:设置请求的超时时间 <code>--command-config config/producer.proterties</code>; 然后在文件中配置 request.timeout.ms=300000</td> 
  </tr> 
 </tbody> 
</table>

### 2.删除Topic ###

> `bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic test`

--------------------

支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来  
**例如: 删除以`create_topic_byhand_zk`为开头的topic;**

> > bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic “create\_topic\_byhand\_zk.\*”  
> > `.`表示任意匹配除换行符 \\n 之外的任何单字符。要匹配 . ，请使用 . 。  
> > `·*·`：匹配前面的子表达式零次或多次。要匹配 \* 字符，请使用 \*。  
> > `.*` : 任意字符

**删除任意Topic (慎用)**

> bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic “.\*?”

更多的用法请[参考正则表达式][Link 1]

相关可选参数

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>描述</th> 
   <th>例子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--replica-assignment</code></td> 
   <td>副本分区分配方式;创建topic的时候可以自己指定副本分配情况;</td> 
   <td><code>--replica-assignment</code> BrokerId-0:BrokerId-1:BrokerId-2,BrokerId-1:BrokerId-2:BrokerId-0,BrokerId-2:BrokerId-1:BrokerId-0 ; 这个意思是有三个分区和三个副本,对应分配的Broker; 逗号隔开标识分区;冒号隔开表示副本</td> 
  </tr> 
 </tbody> 
</table>

**PS: 虽然这里配置的是全部的分区副本分配配置,但是正在生效的是新增的分区;**  
比如: 以前3分区1副本是这样的

<table> 
 <thead> 
  <tr> 
   <th>Broker-1</th> 
   <th>Broker-2</th> 
   <th>Broker-3</th> 
   <th>Broker-4</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>1</td> 
   <td>2</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

现在新增一个分区,`--replica-assignment` 2,1,3,4 ; 看这个意思好像是把0，1号分区互相换个Broker

<table> 
 <thead> 
  <tr> 
   <th>Broker-1</th> 
   <th>Broker-2</th> 
   <th>Broker-3</th> 
   <th>Broker-4</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>0</td> 
   <td>2</td> 
   <td>3</td> 
  </tr> 
 </tbody> 
</table>

但是实际上不会这样做,Controller在处理的时候会把前面3个截掉; 只取新增的分区分配方式,原来的还是不会变

<table> 
 <thead> 
  <tr> 
   <th>Broker-1</th> 
   <th>Broker-2</th> 
   <th>Broker-3</th> 
   <th>Broker-4</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>1</td> 
   <td>2</td> 
   <td>3</td> 
  </tr> 
 </tbody> 
</table>

### 4.查询Topic描述 ###

**1.查询单个Topic**

> `sh bin/kafka-topics.sh --topic test --bootstrap-server xxxx:9092 --describe --exclude-internal`

**2.批量查询Topic**(正则表达式匹配,下面是查询所有Topic)

> `sh bin/kafka-topics.sh --topic ".*?" --bootstrap-server xxxx:9092 --describe --exclude-internal`

支持正则表达式匹配Topic,只需要将topic 用双引号包裹起来

--------------------

相关可选参数

### 5.查询Topic列表 ###

**1.查询所有Topic列表**

> `sh bin/kafka-topics.sh --bootstrap-server xxxxxx:9092 --list --exclude-internal`

**2.查询匹配Topic列表**(正则表达式)

> 查询`test_create_`开头的所有Topic列表  
> `sh bin/kafka-topics.sh --bootstrap-server xxxxxx:9092 --list --exclude-internal --topic "test_create_.*"`

--------------------

相关可选参数

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>描述</th> 
   <th>例子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--exclude-internal</code></td> 
   <td>排除kafka内部topic,比如<code>__consumer_offsets-*</code></td> 
   <td><code>--exclude-internal</code></td> 
  </tr> 
  <tr> 
   <td><code>--topic</code></td> 
   <td>可以正则表达式进行匹配,展示topic名称</td> 
   <td><code>--topic</code></td> 
  </tr> 
 </tbody> 
</table>

> 关于作者：石臻臻的杂货铺, 专注于 Java领域、大数据领域 等知识分享, 内容多为 原理 、源码、实战 等等, 坚持输出干货,所写内容必定经过验证,并深入源码分析,保证内容准确性, 长期在CSDN、和公众号【石臻臻的杂货铺】发布原创文章,欢迎关注! 如果有相关技术领域问题,欢迎进群交流,各个领域都有专人解答,你所问的,都会得到回应!

--------------------

欢迎 Star和 共建由 滴滴开源的kafka的管理平台 满足所有开发运维日常需求

[滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台][LogiKM_Kafka]

## More ##

Kafka专栏持续更新中…(源码、原理、实战、运维、视频、面试视频)

--------------------

[【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)\_石臻臻的杂货铺-CSDN博客][kafka_Kafka_-CSDN]

[【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,干货!!!非常干!!!建议收藏)][kafka]

[【kafka异常】kafka 常见异常处理方案(持续更新! 建议收藏)][kafka_kafka _]

[【kafka运维】分区从分配、数据迁移、副本扩缩容 (附教学视频)][kafka_]

[【kafka源码】ReassignPartitionsCommand源码分析(副本扩缩、数据迁移、副本重分配、副本跨路径迁移][kafka_ReassignPartitionsCommand]

[【kafka】更多请移步个人公众号…][kafka 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70_pic_center]: /images/20221004/b61272d8bdb74cd48e7c61811f03ef8d.png
[LogiKM_Kafka]: https://github.com/didi/LogiKM
[Link 1]: https://www.runoob.com/regexp/regexp-syntax.html
[kafka_Kafka_-CSDN]: https://blog.csdn.net/u010634066/article/details/118215928?spm=1001.2014.3001.5501
[kafka]: https://blog.csdn.net/u010634066/article/details/118631272?spm=1001.2014.3001.5501
[kafka_kafka _]: https://blog.csdn.net/u010634066/article/details/118105676?spm=1001.2014.3001.5501
[kafka_]: https://blog.csdn.net/u010634066/article/details/118028403?spm=1001.2014.3001.5501
[kafka_ReassignPartitionsCommand]: https://blog.csdn.net/u010634066/article/details/118051963
[kafka 1]: https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg4ODY1NTcxNg==&action=getalbum&album_id=1966026980307304450#wechat_redirect