Kafka：自定义分区器

绝地灬酷狼 2024-03-25 21:00 113阅读 0赞

**实现 Partitioner 接口，重写 partition()方法**

需求：

发送过来的数据中如果包含 hello，就发往 0 号分区，

不包含 hello，就发往 1 号分区。

import org.apache.kafka.clients.producer.Partitioner;
    import org.apache.kafka.common.Cluster;
    
    /**
    * 1. 实现接口 Partitioner
    * 2. 实现 3 个方法:partition,close,configure
    * 3. 编写 partition 方法,返回分区号
    */
    public class MyPartitioner implements Partitioner {
        
        /**
         * 返回信息对应的分区
        * @param topic 主题
        * @param key 消息的 key
        * @param keyBytes 消息的 key 序列化后的字节数组
        * @param value 消息的 value
        * @param valueBytes 消息的 value 序列化后的字节数组
        * @param cluster 集群元数据可以查看分区信息
        * @return
        */
        @Override
        public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
    
            // 获取数据 hello
            String msgValues = value.toString();
    
            int partition;
    
            if (msgValues.contains("test")){
                partition = 0;
            }else {
                partition = 1;
            }
    
            return partition;
        }
    
        @Override
        public void close() {
    
        }
    
        @Override
        public void configure(Map<String, ?> configs) {
    
        }
    }

**在生产者的配置中添加分区器参数**

import org.apache.kafka.clients.producer.*;
    import org.apache.kafka.common.serialization.StringSerializer;
    
    import java.util.Properties;
    
    public class CustomProducerCallbackPartitions {
    
        public static void main(String[] args) throws InterruptedException {
    
            // 0 配置
            Properties properties = new Properties();
    
            // 连接集群 bootstrap.servers
            properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.25.129:9092,192.168.25.128:9092");
    
            // 指定对应的key和value的序列化类型 key.serializer
            properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
            properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
    
            // 关联自定义分区器 类路径
            properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"com.demo.kafka.producer.MyPartitioner");
    
            // 1 创建kafka生产者对象
            // KafkaProducer<K, V> 
            // 泛型K为key一般为String类型 泛型V为传递消息的类型，此处发送字符串用String类型
            // 下列发送数据即为 “” “hello ” 
            KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);
    
            // 2 发送数据
            for (int i = 0; i < 5; i++) {
                kafkaProducer.send(new ProducerRecord<>("test","hello" + i), new Callback() {
                    @Override
                    public void onCompletion(RecordMetadata metadata, Exception exception) {
    
                        if (exception == null){
                            System.out.println("主题： "+metadata.topic() + " 分区： "+ metadata.partition());
                        }
                    }
                });
    
                Thread.sleep(2);
            }
    
            // 3 关闭资源
            kafkaProducer.close();
        }
    }