【Python】pandas合并多个CSV表，去重表头

╰半橙微兮° 2023-07-22 02:44 7阅读 0赞

我们有三个子表，每个表都有表头但是没有每行的索引，每一个表在csv文件中结构如下：

name,age
    x,65
    y,77
    z,10

通过Pandas打开 data = pd.read\_csv(r'test.csv')，默认会加上行索引，并且第一行为列索引

name  age
    0    x   65
    1    y   77
    2    z   10

data = pd.read\_csv(r'test.csv',header=None)，将列索引置为空则会再次补充表头

0    1
    0  name  age
    1     x   65
    2     y   77
    3     z   10

正常的合并会导致以下情况：

name,age
    x,65
    y,77
    z,10
    name,age
    x,65
    y,77
    z,10
    name,age
    x,65
    y,77
    z,10

因此在我们合并时，希望做到的是只保存一个表头，不添加行索引。但是通过df.drop\_duplicates()去重对读入的表头只能去掉一个，因为作为表头的那一行不会进行匹配。

代码整理如下

import pandas as pd
    import glob
    
    def hebing(csv_list, outputfile):
        for inputfile in csv_list:
            f = open(inputfile)
            data = pd.read_csv(f)
            data.to_csv(outputfile, mode='a', index=False)
        print('完成合并')
    
    def quchong(file):
        df = pd.read_csv(file, header=None)
        datalist = df.drop_duplicates()
        datalist.to_csv('result_new.csv', index=False, header=False)
        print('完成去重')
    
    if __name__ == '__main__':
        csv_list = glob.glob('*.csv')
        output_csv_path = 'result.csv'
        print(csv_list)
        hebing(csv_list, output_csv_path)
        quchong(output_csv_path)

结果

name,age
    x,65
    y,77
    z,10
    x,6
    y,7
    z,1
    x,650
    y,770
    z,100

发表评论取消回复

表情：

评论列表（有 0 条评论，7人围观）

还没有评论，来说两句吧...

相关阅读

相关【Java算法】链表合并去重算法

文章目录删除有序列表中的重复元素有序链表合并删除有序列表中的重复元素既然我们要删除一个有序的链表中的重复元素，那么我们可以这样子想。如果

清疚/ 2024年03月27日 08:46/ 0 赞/ 96 阅读

相关 Java合并两个集合并去重

> 项目需求： > 对两个List集合进行合并，并根据其对象的Id进行去重 Java实现：假设两个集合为学生集合，根据学号Id进行去重合并 public

深碍√TFBOYSˉ_/ 2023年10月08日 23:03/ 0 赞/ 59 阅读

相关【Python】pandas合并多个CSV表，去重表头

我们有三个子表，每个表都有表头但是没有每行的索引，每一个表在csv文件中结构如下： name,age x,65 y,77 z,10 通过Pa

╰半橙微兮°/ 2023年07月22日 02:44/ 0 赞/ 8 阅读

相关 csv数据去重 python,python批量查询、汉字去重处理CSV文件

CSV文件用记事本打开后一般为由逗号隔开的字符串，其处理方法用Python的代码如下。为方便各种程度的人阅读在代码中有非常详细的注释。 1.查询指定列，并保存到新的csv文件

小灰灰/ 2023年01月13日 04:19/ 0 赞/ 237 阅读

相关 pandas excel合并去重

一、概述现有一个excel文件examples.xlsx，内容如下： ![272b860fce33377ec3d4f743187573ab.png][] 合并去重后

忘是亡心i/ 2022年12月29日 14:12/ 0 赞/ 246 阅读

相关 C语言实现两个有序链表的去重合并

有两种方式，第一种是将两个链表合并为一个新的链表。第二种方式是将一个链表合并到另一个链表上。 include<stdio.h> include <stdlib

清疚/ 2022年12月15日 03:27/ 0 赞/ 142 阅读

相关将excel多个工作表（表结构相同）合并后生成csv文件

import csv import openpyxl as xls import pandas as pd import codecs

小灰灰/ 2022年11月06日 03:55/ 0 赞/ 188 阅读

相关 javascript两个数组去重合并

十、利用Map数据结构去重（转载地址还要其他方法） function arrayNonRepeatfy(arr) { let map = new Ma

分手后的思念是犯贱/ 2022年10月13日 14:54/ 0 赞/ 205 阅读

相关 java中两个list合并和去重操作

java中两个list合并并去除重复 public static void main(String[] args) throws Exception {

分手后的思念是犯贱/ 2022年09月09日 11:43/ 0 赞/ 675 阅读

相关 js合并多个数组并去重(整理)

var arr1 = ['a','b']; var arr2 = ['a','c','d']; var arr3 = [1,'d',undefi

约定不等于承诺〃/ 2021年09月15日 12:08/ 0 赞/ 713 阅读