Python一键合并n个excel表格数据

系统管理员 2022-11-30 12:54 285阅读 0赞

### 一、需求分析 ###

将 files 文件夹下的所有文件的数据合并成一个总文件(注意：每个文件的表头都一致奥~)  
![在这里插入图片描述][20200824184914645.png_pic_center]

### 二、实现步骤 ###

*  获取 files 文件夹下的所有文件名称
 *  读取每个文件的数据
 *  将每个文件的数据进行拼接
 *  保存至新的文件

#### 1.获取 files 文件夹下的所有文件名称 ####

首先，我们应该思考的是，Python有没有对应的模块可以帮助我们去获取指定文件夹下所有文件的名称，那文件  
夹实际上是在操作系统上的(比如：windows，mac)，所以，我们就可以使用 Python与操作系统交互的模块：os模块

# 导入os
    import os
    
    # 改变当前工作路径 至所有文件所在的文件夹下
    need_dir = os.chdir(r"C:\Users\lenovo\Desktop\data_ana02\04-auto_merge_files\files")
    
    # 列出所有文件的名称 以列表呈现
    need_file_name = os.listdir(need_dir)
    need_file_name

![在这里插入图片描述][20200824185029156.png_pic_center]

#### 2.读取每个文件的数据 ####

在这儿，我们就需要思考，怎么读取文件的数据？哇奥~在 Python 中，那是有相当多的模块可以读取呀，比如：xlrd,openpyxl,numpy,pandas…那选择谁呢？在这个应用场景下，我强烈推荐 pandas

# 导入pandas
    import pandas as pd
    
    # 读取 云南白药.csv
    ylby_df = pd.read_csv("云南白药.csv")
    
    # 显示前五条
    ylby_df.head()

![在这里插入图片描述][20200824185114142.png_pic_center]  
大家会发现，读取不同的文件只需要传入不同的文件名就行，那我们怎么读取文件夹下列表的所有文件的数据呢？

*  使用 for 循环遍历文件列表
 *  再读取数据

# 取出每个文件的名称
    for file_name in need_file_name:
        # 读取每个文件的数据    
        data = pd.read_csv(f"{file_name}")
        print(data.head())

截取其中一部分  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center]

#### 3.将每个文件的数据进行拼接 ####

怎么将数据如下拼接呢？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 1]  
那还是使用到我们的老朋友pandas，我们可以使用 pandas.concat() 堆叠拼接。比如，两个表格的拼接代码如下：

# 获取 云南白药.csv 数据
    ylby_df = pd.read_csv("云南白药.csv")
    
    # 获取 五粮液.csv 数据
    wly_df = pd.read_csv("五粮液.csv")
    
    # 进行堆叠拼接，注意:多个表格的拼接传入元组或列表
    pd.concat((ylby_df,wly_df))

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 2]  
那所有文件的数据怎么拼接？欸，此时我们就需要借助到 pandas.concat() 拼接数据，实质上是将每个 df 数据装进一个 列表或者元组中，传进去~

# 定义 空的数据列表
    data_li = []
    
    # 取出每个文件的名称
    for file_name in need_file_name:
        # 读取每个文件的数据    
        data = pd.read_csv(f"{file_name}")
        
        # 将数据添加到 空的数据列表中
        data_li.append(data)
        
    # print(len(data_li))   # 列表长度返回为4 ，说明构建成功
    
    # 拼接所有文件的数据
    all_data = pd.concat(data_li)  
    
    # 获取数据的形状 为620行，说明成功
    all_data.shape

#### 4.保存至新的文件 ####

保存文件直接使用 df.to\_csv() 就好了

all_data.to_csv("总数据.csv")

![在这里插入图片描述][20200824185425100.png_pic_center]  
有了有了他有了…不管你文件夹下多少个文件都是一样的，赶紧玩起来吧~

阿，我太懒了，封装好的代码不想贴了，如果大家想快速实现，可以关注以下公众号看下封装好的代码呀~  
![在这里插入图片描述][20200824185634182.gif_pic_center]

[20200824184914645.png_pic_center]: /images/20221123/fadf12c10f914b95aeb2980f8951dcf9.png
[20200824185029156.png_pic_center]: /images/20221123/95d69b7960a34c3a8c8e5208885d659a.png
[20200824185114142.png_pic_center]: /images/20221123/662dd3a688d04d9b9350899ebdb9b2eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/057f341d946f4cf08c60ed2c8c0c7902.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/fe8a61d50f9b4bebabb241115d359465.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/016b712130e848d68efb2f8b1222ce64.png
[20200824185425100.png_pic_center]: /images/20221123/48ebb17e449149da9059d8dcab1aebfd.png
[20200824185634182.gif_pic_center]: /images/20221123/9ef9c8c8387d441dbc1bdef2b02a2a25.png