UDF函数：删除列中的重复值（去重）

约定不等于承诺〃 2022-05-26 11:08 99阅读 0赞

需求：

import org.apache.commons.lang.StringUtils;
    import org.apache.hadoop.hive.ql.exec.UDF;
    import org.apache.hadoop.io.Text;
    
    import java.util.Arrays;
    import java.util.HashSet;
    
    /**
     * @param
     *        删除列表中的重复值，如执行：
     *        delRepeat('3,2,3,1,4,9',',')，则本udf输出：3,2,1,4,9
     *        注意：返回值无序
     *        传入两个参数：
     *        参数一：需要删除重复的列表
     *        参数二：分隔符；
     */
    public class UDFDelRepeat extends UDF
    {
        HashSet<String> hashset;
    
        Text result = new Text();
    
        public Text evaluate(String list, String sep)
        {
            if (StringUtils.isBlank(list))
                return null;
    
            hashset = new HashSet<String>(Arrays.asList(list.split(sep)));
    
            result.set(StringUtils.join(hashset, ","));
    
            return result;
        }
        
        public static void main(String[] args)
        {
            UDFDelRepeat o = new UDFDelRepeat();
            System.out.println(o.evaluate("1,3,4,9,9,1,2,1", ",").toString());
            System.out.println(o.evaluate("zY20vik;zY20vik", ";").toString());
        }
        
    }
    输出结果显示：
    1,2,3,4,9
    zY20vik

发表评论取消回复

表情：

评论列表（有 0 条评论，99人围观）

还没有评论，来说两句吧...

相关阅读

相关 Elasticsearch 去重统计 cardinality去重复

Elasticsearch 去重统计按照deviceId 去重统计总数相当于SQL SELECT COUNT(DISTINCT deviceId ?) FROM

た入场券/ 2024年04月07日 12:09/ 0 赞/ 93 阅读

相关从 JS 数组中删除重复值 [重复]

问：这个问题在这里已经有了答案：Get all unique values in a JavaScript array (remove duplicates) (85

╰+攻爆jí腚メ/ 2024年03月29日 15:14/ 0 赞/ 96 阅读

相关 python中set函数去重

python中set函数去重 set()函数是python内置函数中比较基础的一个。主要是创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并

男娘i/ 2024年03月26日 17:40/ 0 赞/ 104 阅读

相关 C#实现字符串去重功能：删除字符串中的重复字符

C\实现字符串去重功能：删除字符串中的重复字符在编程中，处理字符串的问题经常会遇到。对于字符串中的重复字符，我们可以通过简单的算法来进行去重操作。今天，我将分享一段C\代码

傷城~/ 2024年03月23日 12:41/ 0 赞/ 123 阅读

相关删除有序vector中的重复值c++

简述三种方法： 1. 每找到连续片段，就去掉该连续片段（缺点：费时间） 2. 双指针法，用慢指针来记录保存项，再用快指针来遍历（缺点：没有删除原数组的内容） 3.

淡淡的烟草味﹌/ 2023年06月22日 07:29/ 0 赞/ 18 阅读

相关 sql 两列去重_几种去重的SQL写法

墨天轮社区的每日一题(https://www.modb.pro/test)，可以说是个小而精的专栏，利用碎片时间，就可以学习知识，非常推荐。这是其中一道，考的就是SQL语法

淡淡的烟草味﹌/ 2023年01月12日 10:24/ 0 赞/ 395 阅读

相关列表去重，将列表中重复的元素去除掉

这个可以直接用set函数 def quchong(list1): list1=set(list1); print(list1);

谁借莪１个温暖的怀抱￠/ 2022年05月29日 05:08/ 0 赞/ 246 阅读

相关 UDF函数：删除列中的重复值（去重）

需求： import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hive.q

约定不等于承诺〃/ 2022年05月26日 11:08/ 0 赞/ 100 阅读

相关 MYSQL中重复记录的查询和去重

在项目开发过程中，由于多次跑测试数据，出现了大量的重复数据的情况，因而需要将重复的数据进行删除，从而避免根据某些条件查询数据时，本应该出现一条，实际出现多条的情况，导致在my

﹏ヽ暗。殇╰゛Y/ 2022年05月16日 12:52/ 0 赞/ 255 阅读

相关删除顺序表中值重复的元素

题目描述设计一个算法，删除顺序表中值重复的元素（值相同的元素仅保留第一个），使得表中所有元素的值均不相同。其中顺序表的动态分配用C语言描述如下： def

缺乏、安全感/ 2022年04月06日 03:11/ 0 赞/ 215 阅读