Flink 1.17教程：自定义分区（Custom）

拼搏现实的明天。 2023-10-15 18:19 33阅读 0赞

#### 自定义分区（Custom） ####

当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。  
1）自定义分区器

public class MyPartitioner implements Partitioner<String> {
        
    
        @Override
        public int partition(String key, int numPartitions) {
        
            return Integer.parseInt(key) % numPartitions;
        }
    }

2）使用自定义分区

public class PartitionCustomDemo {
        
        public static void main(String[] args) throws Exception {
        
    //        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
            StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());
    
            env.setParallelism(2);
    
            DataStreamSource<String> socketDS = env.socketTextStream("hadoop102", 7777);
    
            DataStream<String> myDS = socketDS
                    .partitionCustom(
                            new MyPartitioner(),
                            value -> value);
                    
    
            myDS.print();
    
            env.execute();
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，33人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink 1.17教程：自定义分区（Custom）

自定义分区（Custom）当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。 1）自定义

拼搏现实的明天。/ 2023年10月15日 18:19/ 0 赞/ 34 阅读

相关 flink自定义函数

前言在很多情况下，尽管flink提供了丰富的转换算子API可供开发者对数据进行各自处理，比如 map()，filter()等，但在实际使用的时候仍然不能满足所有的场景，

短命女/ 2023年10月02日 17:43/ 0 赞/ 7 阅读

相关 hadoop 自定义分区

分区概念分区这个词对很多同学来说并不陌生，比如Java很多中间件中，像kafka的分区，mysql的分区表等，分区存在的意义在于将数据按照业务规则进行合理的划分，方便后

我会带着你远行/ 2023年10月01日 11:41/ 0 赞/ 26 阅读

相关 Flink 自定义udf

[https://www.alibabacloud.com/help/zh/doc-detail/69553.htm][https_www.alibabacloud.com_h

我就是我/ 2023年07月24日 14:41/ 0 赞/ 74 阅读

相关 Flink 输出到kafka 自定义分区遇到问题，请教大家

简单说一下，scala代码添加了自定义分区器，一直报错 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM

浅浅的花香味﹌/ 2022年12月17日 01:23/ 0 赞/ 232 阅读

相关 Custom Camera(自定义相机)

最近倒腾了自定义相机的一些东西，中间也遇到了很多麻烦，查阅了很多别人写的博客，也看了相关的API，进过几番折腾最后代码才调试成功。写这篇博客，一方面是想把自己的东西分享给大家，

偏执的太偏执、/ 2022年06月02日 22:36/ 0 赞/ 429 阅读

相关 Flink-04-Flink自定义Source

1、实现并行度为1 的自定义Source 实现SourceFunction接口–一定要指定数据类型 package com.test.streaming.cus

Myth丶恋晨/ 2022年02月25日 06:54/ 0 赞/ 344 阅读

相关自定义滤波（customize filter）

自定义滤波主要是滤波核的建立，以及会用到filter2D这个API: Opencv里面的API介绍：卷积模板设计： Mat kern

墨蓝/ 2021年12月22日 07:29/ 0 赞/ 327 阅读

相关 Flink 自定义触发器

trigger接口有五个方法允许trigger对不同的事件做出反应： onElement():进入窗口的每个元素都会调用该方法。 onEventTime():事件时间

缺乏、安全感/ 2021年11月18日 01:48/ 0 赞/ 636 阅读

相关 Flink 自定义UDTF

> Flink自定义函数实现列传行，数据格式为Json数据：\[\{"key1":"value1","key2":"value2"...\}\] 代码 Java

柔情只为你懂/ 2021年09月25日 13:20/ 0 赞/ 1135 阅读