Java 你还在用list.contain做去重？你是故意的还是不小心的？

青旅半醒 2023-09-25 20:52 69阅读 0赞

# 前言 #

最近又是一轮代码review , 发现了一些实现去重的代码，在使用 lsit.contain ......  
  
如：  
![3cc489454c69406ea79bce2df3bf8d0a.png][]

![f603284f5177485d883a287420792bd2.png][]

我沉思，是不是其实很多初学者也存在这种去重使用问题？  
  
所以我选择把这个事情整出来，分享一下。

# 正文 #

首先是造出一个 List<String> 模拟数据,一共2W条，里面有一半数据1W条是重复的:

public static List<String> getTestList() {
            List<String> list = new ArrayList<>();
            for (int i = 1; i <= 10000; i++) {
                list.add(String.valueOf(i));
            }
            for (int i = 10000; i >= 1; i--) {
                list.add(String.valueOf(i));
            }
            return list;
        }

先看看 我们用contain 去重的 代码：

/**
         * 使用 list.contain 去重
         *
         * @param testList
         */
        private static void useContain2Distinct(List<String> testList) {
            System.out.println("contains 开始去重，条数：" + testList.size());
            List<String> testListDistinctResult = new ArrayList<>();
            for (String str : testList) {
                if (!testListDistinctResult.contains(str)) {
                    testListDistinctResult.add(str);
                }
            }
            System.out.println("contains 去重完毕，条数：" + testListDistinctResult.size());
        }

我们调用一下看看耗时：

public static void main(String[] args) {
            List<String> testList = getTestList();
            StopWatch stopWatch = new StopWatch();
            stopWatch.start();
            useContainDistinct(testList);
            stopWatch.stop();
            System.out.println("去重 最终耗时" + stopWatch.getTotalTimeMillis());
        }

耗时：  
![34727b25fba347d9b5ff14a6d83cc19a.png][]

评价： list.contain 的效率，我的建议是，知道就行，别用。

--------------------

众所周知Set 不存在 重复数据， 所以我们来看看 使用HashSet去重的性能：  
ps： 这里是采取使用 set的add 方法做去重

/**
         * 使用set去重
         *
         * @param testList
         */
        private static void useSetDistinct(List<String> testList) {
            System.out.println("HashSet.add 开始去重，条数：" + testList.size());
            List<String> testListDistinctResult = new ArrayList<>(new HashSet(testList));
            System.out.println("HashSet.add 去重完毕，条数：" + testListDistinctResult.size());
        }

我们调用一下看看耗时：

public static void main(String[] args) {
            List<String> testList = getTestList();
            StopWatch stopWatch = new StopWatch();
            stopWatch.start();
            useSetDistinct(testList);
            stopWatch.stop();
            System.out.println("去重 最终耗时" + stopWatch.getTotalTimeMillis());
        }

耗时：

![a0180093c2d94268a82a250331e10269.png][]

评价：HashSet 的效率，我的建议是，推荐。

--------------------

**为什么耗时 差距这么大？**

不多说，我们看源码：  
  
list.contains(o)：

![3ef8297a1d554d9f83f844a3c589c6ce.png][]

可以看到里面用到了 index（o） :

![8518358cccf74b9c8aac86d8f585e861.png][]

时间复杂度 ： O（n） n: 元素个数

那么我们看看 set.add（o） 是怎么样的 ：  
  
![30b7c1e3ace0433e84d91309007f9d9a.png][]

map的add , 老生常谈就不谈了，hash完 直接塞到某个位置， 时间复杂度 ： O(1) 。

所以 O（n） 和 O(1) 谁快 谁慢 ？ 显然。

![54362b54825644759c3d17f138798697.png][]

ps： 顺嘴说下 hashset的 contain

![dabfc4bcbed5461cafa97abdf9ddeef1.png][]

时间复杂度也是 ： O(1)

![19eaf750b87d4e2d988ab8405deea49b.png][]

那么我们最后再看看别的去重：

双for循环 ，remove去重

/**
         * 使用双for循环去重
         * @param testList
         */
        private static void use2ForDistinct(List<String> testList) {
            System.out.println("list 双循环 开始去重，条数：" + testList.size());
            for (int i = 0; i < testList.size(); i++) {
                for (int j = i + 1; j < testList.size(); j++) {
                    if (testList.get(i).equals(testList.get(j))) {
                        testList.remove(j);
                    }
                }
            }
            System.out.println("list 双循环  去重完毕，条数：" + testList.size());
        }

public static void main(String[] args) {
            List<String> testList = getTestList();
            StopWatch stopWatch = new StopWatch();
            stopWatch.start();
            use2ForDistinct(testList);
            stopWatch.stop();
            System.out.println("去重 最终耗时" + stopWatch.getTotalTimeMillis());
        }

耗时：

![3819862be06344a5ada1cd6593dc69e3.png][]

评价：知道就行，图个乐，别用，贼慢，而且代码看起来乱：。

--------------------

stream的distinct去重：

/**
         * 使用Stream 去重
         *
         * @param testList
         */
        private static void useStreamDistinct(List<String> testList) {
            System.out.println("stream 开始去重，条数：" + testList.size());
            List<String> testListDistinctResult = testList.stream().distinct().collect(Collectors.toList());
            System.out.println("stream 去重完毕，条数：" + testListDistinctResult.size());
        }

public static void main(String[] args) {
            List<String> testList = getTestList();
            StopWatch stopWatch = new StopWatch();
            stopWatch.start();
            useStreamDistinct(testList);
            stopWatch.stop();
            System.out.println("去重 最终耗时" + stopWatch.getTotalTimeMillis());
        }

耗时：

![3b67a71e32d84e059c5b5a46f65ac5cc.png][]

评价：还不错，主要是代码也蛮简洁，有一点点动心。

好了，该篇就到这。

[3cc489454c69406ea79bce2df3bf8d0a.png]: https://img-blog.csdnimg.cn/3cc489454c69406ea79bce2df3bf8d0a.png
[f603284f5177485d883a287420792bd2.png]: https://img-blog.csdnimg.cn/f603284f5177485d883a287420792bd2.png
[34727b25fba347d9b5ff14a6d83cc19a.png]: https://img-blog.csdnimg.cn/34727b25fba347d9b5ff14a6d83cc19a.png
[a0180093c2d94268a82a250331e10269.png]: https://img-blog.csdnimg.cn/a0180093c2d94268a82a250331e10269.png
[3ef8297a1d554d9f83f844a3c589c6ce.png]: https://img-blog.csdnimg.cn/3ef8297a1d554d9f83f844a3c589c6ce.png
[8518358cccf74b9c8aac86d8f585e861.png]: https://img-blog.csdnimg.cn/8518358cccf74b9c8aac86d8f585e861.png
[30b7c1e3ace0433e84d91309007f9d9a.png]: https://img-blog.csdnimg.cn/30b7c1e3ace0433e84d91309007f9d9a.png
[54362b54825644759c3d17f138798697.png]: https://img-blog.csdnimg.cn/54362b54825644759c3d17f138798697.png
[dabfc4bcbed5461cafa97abdf9ddeef1.png]: https://img-blog.csdnimg.cn/dabfc4bcbed5461cafa97abdf9ddeef1.png
[19eaf750b87d4e2d988ab8405deea49b.png]: https://img-blog.csdnimg.cn/19eaf750b87d4e2d988ab8405deea49b.png
[3819862be06344a5ada1cd6593dc69e3.png]: https://img-blog.csdnimg.cn/3819862be06344a5ada1cd6593dc69e3.png
[3b67a71e32d84e059c5b5a46f65ac5cc.png]: https://img-blog.csdnimg.cn/3b67a71e32d84e059c5b5a46f65ac5cc.png