MYSQL 查找单个字段或者多个字段重复数据，清除重复数据

Bertha 。 2022-11-28 13:57 244阅读 0赞

# 前文 #

## **重复数据的情况分为两种：**   ##

**单个字段 数据重复  **

**多个字段 数据重复**

### **所以该篇的内容就是包括** ###

**单个字段的重复数据查找  与 去重**  
**多个字段的重复数据查找  与 去重 **

# 正文 #

示例  accountinfo 表数据如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70][]

## **场景一   单个字段重复数据查找 & 去重** ##

**我们要把上面这个表中 单个字段 account字段相同的数据找出来。**  
  
思路 分三步 简述：

**第一步**  
  
要找出重复数据，我们首先想到的就是，既然是重复，那么 数量就是大于 1  就算是重复。 那就是 count 函数 。

因为我们要排查的是 单个 字段account ，那么就是需要按照 account 字段 维度 去分组。  那就是 group by 函数。

**那么我们第一步写出来的mysql 语句是：**

SELECT account ,COUNT(account) as count FROM accountinfo GROUP BY account;

查询结果如下：

![20200818132630211.png][]

**第二步 **

没错，如我们所想，count大于1的即是 account为 A  和 B 的数据。

那么我们稍作筛选，只把count大于1的数据的account  找出来。

** 第二步，利用having 拼接筛选条件，写出来的mysql 语句是：**

SELECT account FROM accountinfo GROUP BY account HAVING COUNT(account) > 1;

查询结果如下：

![20200818133119338.png][]

** 第三步**

重复的account数据 A B 都找出来了，接下来我们只需要把account为A 和 B 的其他数据都一起查询出来。

那就是利用第二步查出来的数据做为子查询条件，使用 IN 函数。  
  
**第三步写出来的mysql 语句是：**

SELECT * FROM  accountinfo WHERE account IN
     (
     SELECT account FROM accountinfo GROUP BY account HAVING COUNT(account) > 1
     );

查询结果如下：

![2020081813371938.png][]

可以看到重复的数据都被我们筛选出来了。

### **那么怎么去重呢？ 也就是说，把重复的数据删掉。** ###

### **不，准确点应该说是，重复的数据都只留下一条即可，这才是去重。** ###

紧接着上面，毕竟去重的前提肯定是找重，上面我们已经实现找重了，所以紧接着进行去重。

按照我们步骤三得到的图，就是我们需要删掉一条account为A的数据， 一条account为B的数据，去重结果图应该如下：![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70 1][]

思路也分三步简述：

**第一步**

删掉数据，我们一般选择接住主键来删除，所以我们考虑从id入手。

再来看我们的重复数据：

![20200818134611135.png][]

如果我们想在这些重复数据里面，每个都保留一条，如 account 为 A 中 id=10 的数据，  account 为B 中 id=20 的数据 ，那么第一步我们就得把这两条数据从上面的

最终得到的数据 筛选出来，也就是按照 account分组，保留里面id最小的数据。使用 group by 和 min 函数。

**所以去重我们第一步写出来的mysql 语句是：**

SELECT min(id) as id from (
    
    
     SELECT * FROM  accountinfo WHERE account IN
     (
     SELECT account FROM accountinfo GROUP BY account HAVING COUNT(account) > 1
     ) 
     
     
     ) a GROUP BY a.account

查询结果如下：

![20200818135259896.png][]

**第二步**

想要保留的数据已经找出来了，那么接下来就是从所有的重复数据里面 删掉 不为 我们保留的数据 即可 。  
那么就是找出我们需要删除的id， 使用 not in 函数。

**所以去重我们第二步写出来的mysql 语句是：**

SELECT t1.id FROM (
    
    SELECT id  FROM accountinfo WHERE account IN (  SELECT account FROM accountinfo GROUP BY account HAVING COUNT(account) > 1) ) t1 
    
    WHERE t1.id NOT IN (
    
    
    SELECT min(id) AS id FROM (
    
    
     SELECT * FROM  accountinfo WHERE account IN
     (
     SELECT account FROM accountinfo GROUP BY account HAVING COUNT(account) > 1
     ) 
     
     
     ) a GROUP BY a.account
    
    )

查询的结果为：

![20200818150111609.png][]

对这个sql语句稍作文字说明：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70 2][]

第三步，删掉第二步找出来的数据即可，根据id删除。

所以第三步写出来的mysql语句是：

DELETE FROM accountinfo WHERE id IN (
    
    SELECT t1.id FROM (
    
    SELECT id  FROM accountinfo WHERE account IN (  SELECT account FROM accountinfo GROUP BY account HAVING COUNT(account) > 1) ) t1 
    
    WHERE t1.id NOT IN (
    
    
    SELECT min(id) AS id FROM (
    
    
     SELECT * FROM  accountinfo WHERE account IN
     (
     SELECT account FROM accountinfo GROUP BY account HAVING COUNT(account) > 1
     ) 
     
     
     ) a GROUP BY a.account
    
    )
    
    )

执行结果如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70 1][]

# **场景二  多个字段重复数据查找 & 去重** #

示例  accountinfo 表数据如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70 3][]

想要去重，我们的首要想到的也是先把 重复数据 找出来。

现在的重复定义是， account 和 deviceId 都相同的 时候，这种数据就是重复数据（也就是上图绿色框出来的就是同时多个字段都存在重复的数据）。

思路简述：

**第一步**

因为有了文章上半部讲到的单个字段重复的数据查找思路，所以到这边应该更好理解了。

同样， account 和 deviceId 都相同的重复数据就是指， 这种数据存在的数量 大于 2，那么就是存在重复了。

我们还是使用到了 group by  函数 和 count 函数 和 having and  函数（因为需要同时满足两个字段条件，使用and）。

**第一步写出来的mysql语句是：**

SELECT account, COUNT(account), deviceId, COUNT(deviceId) 
    FROM accountinfo 
    GROUP BY account, deviceId 
    HAVING  (COUNT(account) > 1) AND  (COUNT(deviceId) > 1)

查询出来的结果如下图：  
![20200818143120565.png][]

**第二步**

一样 也是把第一步里的到的关键信息 account 和 deviceId做为子查询条件，从原表里把  account 和 deviceId 同时相同的数据都查找出来。

**第二步写出来的mysql语句是：**

查询结果如下图：

![20200818144307717.png][]

可以看到重复的数据都被我们筛选出来了，这些数据里面就是包含 account 和 deviceId 同时都相同的数据！

### **去重** ###

**第一步**

思路一样，我们对于重复的数据每个只保留一条,那就是把这些涉及重复的数据每个都找出一条，也是根据id入手。

也就是在account为 C 且 deviceId 为 C333  三条重复数据里面，保留 id最小的 等于30 这一条;

account为D 且 deviceId 为 D444  二条重复数据里面，保留 id最小的 等于40 这一条.

**所以第一步我们先写出来的mysql语句为：**

SELECT min(id) as id FROM (
    
    SELECT t.* FROM  accountinfo t, (
    
    SELECT account, COUNT(account), deviceId, COUNT(deviceId) 
    FROM accountinfo 
    GROUP BY account, deviceId 
    HAVING  (COUNT(account) > 1) AND  (COUNT(deviceId) > 1) 
    ) a 
    
    WHERE t.account=a.account AND t.deviceId=a.deviceId 
    
    )a  GROUP BY a.account,a.deviceId

查询结果如下图：

![20200818151429115.png][]

**第二步**

就是从涉及重复数据里面，找出除了我们需要保留的id之外的那批id， 那就是需要我们执行删除的数据id。

**所以第二步我们先写出来的mysql语句为：**

SELECT t.* FROM  accountinfo t, (
    
    SELECT account, COUNT(account), deviceId, COUNT(deviceId) 
    FROM accountinfo 
    GROUP BY account, deviceId 
    HAVING  (COUNT(account) > 1) AND  (COUNT(deviceId) > 1) 
    ) a 
    
    WHERE t.account=a.account AND t.deviceId=a.deviceId 
    
    ) b   WHERE b.id
    
    NOT IN (
    
    
    SELECT min(id) as id FROM (
    
    SELECT t.* FROM  accountinfo t, (
    
    SELECT account, COUNT(account), deviceId, COUNT(deviceId) 
    FROM accountinfo 
    GROUP BY account, deviceId 
    HAVING  (COUNT(account) > 1) AND  (COUNT(deviceId) > 1) 
    ) a 
    
    WHERE t.account=a.account AND t.deviceId=a.deviceId 
    
    )a  GROUP BY a.account,a.deviceId
    
    )

查询出来的结果为：

![20200818152058477.png][]

那么最后删掉这些id的数据即可：

DELETE FROM accountinfo WHERE id in (
    
    SELECT b.id  FROM  (  
    
    SELECT t.* FROM accountinfo  t, (
    
    SELECT account, COUNT(account), deviceId, COUNT(deviceId) 
    FROM accountinfo 
    GROUP BY account, deviceId 
    HAVING  (COUNT(account) > 1) AND  (COUNT(deviceId) > 1) 
    ) a 
    
    WHERE t.account=a.account AND t.deviceId=a.deviceId 
    
    ) b   WHERE b.id
    
    NOT IN (
    
    
    SELECT min(id) as id FROM (
    
    SELECT t.* FROM  accountinfo t, (
    
    SELECT account, COUNT(account), deviceId, COUNT(deviceId) 
    FROM accountinfo 
    GROUP BY account, deviceId 
    HAVING  (COUNT(account) > 1) AND  (COUNT(deviceId) > 1) 
    ) a 
    
    WHERE t.account=a.account AND t.deviceId=a.deviceId 
    
    )a  GROUP BY a.account,a.deviceId
    
    )
    
    )

去重后结果为:

![20200818152257216.png][]

该篇就到此吧。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70]: /images/20221124/88a59c1eac63490a86787d9adb91039e.png
[20200818132630211.png]: /images/20221124/818f5ca1fcc54360975f3a135bfc7330.png
[20200818133119338.png]: /images/20221124/c13c416ed7734f4eab8cd4d78d99cfdb.png
[2020081813371938.png]: /images/20221124/63d97b3f77294a04b47ca90ae4b238a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70 1]: /images/20221124/0b26a94639a04b5983e9f1b3ce9825c4.png
[20200818134611135.png]: /images/20221124/33ecd8b2b47d4ff7a25c17ba328d34e1.png
[20200818135259896.png]: /images/20221124/2811dc2c8d6d4aa8a44b0cd73bd57299.png
[20200818150111609.png]: /images/20221124/219bf12bdcc44c0894695b9e7d475514.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70 2]: /images/20221124/6ca47810b0d341c499133ef40f11e8b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzg3OTQw_size_16_color_FFFFFF_t_70 3]: /images/20221124/00b0eef56af243a6b07c996a2c5302e9.png
[20200818143120565.png]: /images/20221124/ea39d15a39c14e509d80b197db1ba29b.png
[20200818144307717.png]: /images/20221124/8940c90d259e47e18350beb21e13dd7f.png
[20200818151429115.png]: /images/20221124/15a2cd4659724a4abd0cb6f55915d506.png
[20200818152058477.png]: /images/20221124/4da199ee5bbc4855b8a4a66ebac6840d.png
[20200818152257216.png]: /images/20221124/584d5bfbfabb44a5ac6380e1a8ef0d91.png