Python基础教程：pd.drop_duplicates删除重复行的方法

怼烎@ 2022-09-16 13:24 52阅读 0赞

drop\_duplicates 方法实现对数据框 DataFrame 去除特定列的重复行，返回 DataFrame 格式数据。

### 一、使用语法及参数 ###

**使用语法：**

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

**参数：**

*  subset – 指定特定的列 默认所有列
 *  keep:\{‘first’, ‘last’, False\} – 删除重复项并保留第一次出现的项 默认第一个  
    keep=False – 表示删除所有重复项 不保留
 *  inplace – 是否直接修改原对象
 *  gnore\_index=True – 重置索引 （version 1.0.0 才有这个参数）

### 二、实操 ###

**1.例子一**

''' 学习中遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ '''
    import pandas as pd
    df = pd.DataFrame({ 'a':[1,1,2,2],
                       'b':['a','b','a','b']})
    
    # 单列
    df.drop_duplicates('b', 'first', inplace=True)
    print(df)
    ''' a b 0 1 a 1 1 b '''
    
    # 多列
    df.drop_duplicates(subset=['a', 'b'], keep='first', inplace=False)
    
    # 删除所有重复项 不保留
    df.drop_duplicates(subset=['a', 'b'], False)

**2.例子二**

''' 学习中遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ '''
    # 构建测试数据框
    import pandas as pd
    df = pd.DataFrame({ 
        'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
        'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
        'rating': [4, 4, 3.5, 15, 5]
    })
    
    # 默认按所有列去重
    df.drop_duplicates()
    
    # 指定列
    df.drop_duplicates(subset=['brand'])
    
    # 保留最后一个重复值
    df.drop_duplicates(subset=['brand', 'style'], keep='last')

**3.删除重复项后重置索引**

# 方法一
    df.drop_duplicates(ignore_index=True)
    
    # 方法二
    df.drop_duplicates().reset_index(drop=True)
    
    # 方法三
    df.index = range(df.shape[0])