python根据list元素的部分进行去重

缺乏、安全感 2022-12-27 01:44 212阅读 0赞

在使用python的元素去重时，可以直接使用python的set()函数对字符串或者列表去重，但是set()对列表去重是将列表的每个元素当作整体进行去重，如果我们想根据列表元素的部分进行去重，set方法就不适用了。  
举个例子，列表含有四个元素，目的是根据"–“左边的元素进行去重，保证”–“左边的元素唯一，右边只需要任意一个字符串对应左边元素的即可。  
11—as  
12–sa  
12–qw  
11–sa  
使用set()去重仍将得到四个元素，我们使用python的字典作为辅助工具来操作：  
建立一个空字典，遍历list,将”–“左边的元素为key，如果在字典的keys()中没有找到，就将”–"右边的元素作为value写入字典，最终还有两个元素：  
11–as  
12–sa

实际操作一下，这个txt文件中，"–"左边为MD5值，右边为小数，目的保证MD5唯一，小数只需要一个小数对应一个MD5即可：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWxhbmJh_size_16_color_FFFFFF_t_70_pic_center]

path='D:/Python_Program/test/output.txt'
    with open(path) as ff:
        tmp = ff.readlines()  # 得到所有的MD5和随机数
    
    print("一共含有{}个元素".format(len(tmp)))
    zi={ }
    for x in tmp:
        if x[:40] not in zi.keys():  # 根据MD5去重
            zi[x[:40]]=x[40:]
    print("去重后还有{}个元素".format(len(zi)))
    
    filepath='D:/Python_Program/test/result.txt'
    with open(filepath, 'w') as fw:
        for key in zi:
            tt=key+zi[key]
            fw.write(tt)

输出为：

一共含有322个元素
    去重后还有294个元素

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWxhbmJh_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/aa37d99265fe4fc1866352ea0e8e9701.png