flink自定义函数

短命女 2023-10-02 17:43 7阅读 0赞

### 前言 ###

在很多情况下，尽管flink提供了丰富的转换算子API可供开发者对数据进行各自处理，比如 map()，filter()等，但在实际使用的时候仍然不能满足所有的场景，这时候，就需要开发人员基于常用的转换算子的基础上，做一些自定义函数的处理

**1、来看一个常用的操作**

原始待读取的文件

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA6YCG6aOO6aOe57-U55qE5bCP5Y-U_size_6_color_FFFFFF_t_70_g_se_x_16][]

核心代码

import org.apache.flink.api.common.functions.FilterFunction;
    import org.apache.flink.streaming.api.datastream.DataStreamSource;
    import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
    import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
    
    public class FilterFunc {
    
        public static void main(String[] args) throws Exception{
    
            StreamExecutionEnvironment env = StreamExecution

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA6YCG6aOO6aOe57-U55qE5bCP5Y-U_size_6_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/156c372fb0ae4907a2e957bfc000059b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6YCG6aOO6aOe57-U55qE5bCP5Y-U,size_6,color_FFFFFF,t_70,g_se,x_16

发表评论取消回复

表情：

评论列表（有 0 条评论，7人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink Table API 自定义函数使用

函数（Functions） Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数 SQL 中支持的很多函数，Table API

小鱼儿/ 2023年10月02日 18:32/ 0 赞/ 7 阅读

相关 flink自定义函数

前言在很多情况下，尽管flink提供了丰富的转换算子API可供开发者对数据进行各自处理，比如 map()，filter()等，但在实际使用的时候仍然不能满足所有的场景，

短命女/ 2023年10月02日 17:43/ 0 赞/ 8 阅读

相关 Flink 自定义udf

[https://www.alibabacloud.com/help/zh/doc-detail/69553.htm][https_www.alibabacloud.com_h

我就是我/ 2023年07月24日 14:41/ 0 赞/ 74 阅读

相关 Flink SQL自定义聚合函数

点击上方蓝字关注~ 本篇幅介绍Flink Table/SQL中如何自定义一个聚合函数，介绍其基本用法、撤回定义以及与源码结合分析每个方法的调用位置。基本使用 F

灰太狼/ 2023年06月16日 07:47/ 0 赞/ 76 阅读

相关 Flink自定义函数（自定义分词函数UDTF）

Flink自定义函数概述自定义函数（UDF）是一种扩展开发机制，可以用来在查询语句里调用难以用其他方式表达的频繁使用或自定义的逻辑。函数分类: 1. Scal

小灰灰/ 2022年11月13日 00:59/ 0 赞/ 434 阅读

相关 Flink自定义aggregate聚合函数的步骤

在Flink计算中，常见的一些操作是map或者flatmap一些数据之后keyby 开窗口进行计算。那么在这些计算当中有哪些算子呢？其中我分为两类算子。增量聚合有re

比眉伴天荒/ 2022年10月05日 14:51/ 0 赞/ 226 阅读

相关 Flink-TableAPI与SQL-函数与自定义函数

函数(Functions) Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数 SQL 中支持的很多函数,Table API 和 SQL

àì夳堔傛蜴生んèń/ 2022年09月10日 02:29/ 0 赞/ 242 阅读

相关 Flink-04-Flink自定义Source

1、实现并行度为1 的自定义Source 实现SourceFunction接口–一定要指定数据类型 package com.test.streaming.cus

Myth丶恋晨/ 2022年02月25日 06:54/ 0 赞/ 344 阅读

相关 Flink 自定义触发器

trigger接口有五个方法允许trigger对不同的事件做出反应： onElement():进入窗口的每个元素都会调用该方法。 onEventTime():事件时间

缺乏、安全感/ 2021年11月18日 01:48/ 0 赞/ 636 阅读

相关 Flink 自定义UDTF

> Flink自定义函数实现列传行，数据格式为Json数据：\[\{"key1":"value1","key2":"value2"...\}\] 代码 Java

柔情只为你懂/ 2021年09月25日 13:20/ 0 赞/ 1135 阅读