pandas excel动态条件过滤并保存结果

小咪咪 2022-12-28 12:37 199阅读 0赞

# 一、概述 #

由于业务需求，需要对某个excel数据做查询。其中：

excel文件名，不固定

sheet数量，不固定

过滤条件，不固定

# 二、分析需求 #

针对以上3个条件，都是不固定的。因此需要设计一个配置文件，内容如下：

# 查询条件，多个条件，用逗号分隔
    where_dict = {
        # excel文件名
        "file_name": "456.xlsx",
        # 过滤条件
        "rules": [
            {
                "sheet_name": "Sheet1",
                "split_rule": ["性别=男", "年龄=21"]
            },
            {
                "sheet_name": "Sheet2",
                "split_rule": ["身高=170"]
            }
        ]
    }

通过遍历这个字典，就可以了。

# 三、演示 #

先安装模块

pip3 install pandas openpyxl

现有一个456.xlsx，内容如下：

Sheet1

![4174f60be5183aaf8ea20e29a4c93e2f.png][]

Sheet2

![02c0cfdfc938a9f76ff6ffbb33fa43e3.png][]

Sheet3

![bed7bc32cd213dae292fb7c2d2cc1507.png][]

完整代码如下：

# ！/usr/bin/python3
    # -*- coding: utf-8 -*-
    import pandas as pd
    
    # 查询条件，多个条件，用逗号分隔
    where_dict = {
        # excel文件名
        "file_name": "456.xlsx",
        # 过滤条件
        "rules": [
            {
                "sheet_name": "Sheet1",
                "split_rule": ["性别=男", "年龄=21"]
            },
            {
                "sheet_name": "Sheet2",
                "split_rule": ["身高=170"]
            }
        ]
    }
    
    # 创建新的新的查询结果excel
    with pd.ExcelWriter('result.xlsx') as writer:
        file_name = where_dict['file_name']
        for i in where_dict['rules']:
            # print(i, type(i))
            # 查询条件
            where = ""
            # 打开指定的sheet
            df = pd.read_excel(file_name, sheet_name=i['sheet_name'])
            for j in i['split_rule']:
                # 切割条件
                key, value = j.split('=')
    
                # 判断数值是否为数字
                if value.isdigit():
                    # 拼接查询条件
                    where += "(df.%s==%s) & " % (key, value)
                else:
                    where += "(df.%s=='%s') & " % (key, value)
    
            # 去除末尾的&
            where = where.rstrip('& ')
            print(i['sheet_name'],'条件:',where)
            ret = df[eval(where)]
            # print(ret,type(ret))
    
            # 依次写入sheet
            ret.to_excel(writer, sheet_name=i['sheet_name'], index=False, header=True)

执行代码，输出：

Sheet1 条件: (df.性别=='男') & (df.年龄==21)
    Sheet2 条件: (df.身高==170)

它会在当前目录生成result.xlsx，打开，结果如下：

Sheet1

![be705f7150f843d3df52962d5645476a.png][]

Sheet2

![3d9911827a6f328c95108b39ff57f188.png][]

[4174f60be5183aaf8ea20e29a4c93e2f.png]: /images/20221120/bbc548fa596346d6be850d1eb16bf136.png
[02c0cfdfc938a9f76ff6ffbb33fa43e3.png]: /images/20221120/221c43b8e7e347959b24cd5c83da99ca.png
[bed7bc32cd213dae292fb7c2d2cc1507.png]: /images/20221120/1c8194a2ecf74a2f99c24e2e783a978f.png
[be705f7150f843d3df52962d5645476a.png]: /images/20221120/a24db5ea0d994233a456ece4578de016.png
[3d9911827a6f328c95108b39ff57f188.png]: /images/20221120/e77ae0cd0e65407fa6082aea4d441dbc.png