两个使用 Pandas 读取异常数据结构 Excel 的方法，拿走不谢！

布满荆棘的人生 2022-09-16 14:24 238阅读 0赞

![04090b6bfba13174e751253ef7fe2f0f.gif][]

作者 | 周萝卜

来源 | 萝卜大杂烩

通常情况下，我们使用 Pandas 来读取 Excel 数据，可以很方便的把数据转化为 DataFrame 类型。但是现实情况往往很骨干，当我们遇到结构不是特别良好的 Excel 的时候，常规的 Pandas 读取操作就不怎么好用了，今天我们就来看两个读取非常规结构 Excel 数据的例子

![97416735db762db795b0f0cfbf868fd9.png][]

本文使用的测试 Excel 内容如下

![b6054a7d4146fecb8afc301cf111ece9.png][]

![056d412de500ddf39dad270f96b4cfd3.png][]

文末可以获取到该文件

### 指定列读取 ###

一般情况下，我们使用 read\_excel 函数读取 Excel 数据时，都是默认从第 A 列开始读取的，但是对于某些 Excel 数据，往往不是从第 A 列就有数据的，此时我们需要参数 usecols 来进行规避处理

比如上面的 Excel 数据，如果我们直接使用 read\_excel(src\_file) 读取，会得到如下结果

![a11e413cb2efe1f20043abb09ba475fd.png][]

我们得到了很多未命名的列以及很多我们根本不需要的列数据

此时我们可以通过 **usecols** 来指定读取哪些列数据

from pathlib import Path
    src_file = Path.cwd() /  'shipping_tables.xlsx'
    
    df = pd.read_excel(src_file, header=1, usecols='B:F')

![44291944e775babda3902bee00e86c6e.png][]

可以看到生成的 DataFrame 中只包含我们需要的数据，特意排除了 notes 列和 date 字段

usecols 可以接受一个 Excel 列的范围，例如 B:F 并仅读取这些列，header 参数需要一个定义标题列的整数，它的索引从0开始，所以我们传入 1，也就是 Excel 中的第 2 行

我们也可以将列定义为数字列表

df = pd.read_excel(src_file, header=1, usecols=[1,2,3,4,5])

也可以通过列名称来选择所需的列数据

df = pd.read_excel(
        src_file,
        header=1,
        usecols=['item_type', 'order id', 'order date', 'state', 'priority'])

> 这种做法在列的顺序改变但是列的名称不变的时候非常有用

最后，usecols 还可以接受一个可调用的函数

def column_check(x):
        if 'unnamed' in x.lower():
            return False
        if 'priority' in x.lower():
            return False
        if 'order' in x.lower():
            return True
        return True
    
    df = pd.read_excel(src_file, header=1, usecols=column_check)

该函数将按名称解析每一列，并且必须为每一列返回 True 或 False

当然也可以使用 lambda 表达式

cols_to_use = ['item_type', 'order id', 'order date', 'state', 'priority']
    df = pd.read_excel(src_file,
                       header=1,
                       usecols=lambda x: x.lower() in cols_to_use)

### 范围和表格 ###

在某些情况下，Excel 中的数据可能会更加不确定，在我们的 Excel 数据中，我们有一个想要读取的名为 ship\_cost 的表，这该怎么获取呢

![22c50272d4c810f792bb6ec82ed2bca6.png][]

在这种情况下，我们可以直接使用 openpyxl 来解析 Excel 文件并将数据转换为 pandas DataFrame

以下是使用 openpyxl（安装后）读取 Excel 文件的方法：

from openpyxl import load_workbook
    import pandas as pd
    from pathlib import Path
    src_file = src_file = Path.cwd() / 'shipping_tables.xlsx'
    
    wb = load_workbook(filename = src_file)

查看所有的 sheet 页，获取某个 sheet 页，获取 Excel 范围数据

wb.sheetnames
    sheet = wb['shipping_rates']
    lookup_table = sheet.tables['ship_cost']
    lookup_table.ref

![511ffab15f79317172cf753cf59eb244.png][]

现在我们以及知道要加载的数据范围了， 接下来就是将该范围转换为 Pandas DataFrame

# 获取数据范围
    data = sheet[lookup_table.ref]
    rows_list = []
    
    # 循环获取数据
    for row in data:
        cols = []
        for col in row:
            cols.append(col.value)
        rows_list.append(cols)
    
    
    df = pd.DataFrame(data=rows_list[1:], index=None, columns=rows_list[0])

![28ad295dd0d10a8a0abedc3140ff94e6.png][]

这样我们就获取到了干净的表数据了

好了，今天的两个小知识点就分享到这里了，我们下次再见！

![09e9d983ff3e9b6be17c3301d7391637.gif][]

![8fec0014151249b98cf93835941436c0.png][]

往

期

回

顾

资讯

[AI 将有自我视觉？Facebook正在研究新系统][AI _Facebook]

资讯

[阿里云投入 20 亿发力操作系统][20]

资讯

[“倚天”一出，谁与争锋？阿里发布云芯片][Link 1]

技术

[ST-GCN 实现人体姿态行为分类][ST-GCN]

![993041b360d98e57b0a2feb66b704e18.png][]

**分享**

![e2dda43c1572740c7213b5c23bcee815.png][]

**点收藏**

![f9b2c725c363508282416861fdc58802.png][]

**点点赞**

![fa7d805db07795d9ba605e94cb01ef8e.png][]

**点在看**

[04090b6bfba13174e751253ef7fe2f0f.gif]: /images/20220828/23ed372e5d48476da3b7bd54023477b5.png
[97416735db762db795b0f0cfbf868fd9.png]: /images/20220828/510156bb15ee483aae3539b9817a5b77.png
[b6054a7d4146fecb8afc301cf111ece9.png]: /images/20220828/9f15d697ff644516bd7a2d944cd8a449.png
[056d412de500ddf39dad270f96b4cfd3.png]: /images/20220828/00257706347f4b0c9b2b3718fa85dd70.png
[a11e413cb2efe1f20043abb09ba475fd.png]: /images/20220828/fa975f9dd19d4f8192edbbd57b1feb9b.png
[44291944e775babda3902bee00e86c6e.png]: /images/20220828/f76b32efd78c4fd2844f1fb2ef1557cc.png
[22c50272d4c810f792bb6ec82ed2bca6.png]: /images/20220828/d4be7234c55046519fdfb0472393eff8.png
[511ffab15f79317172cf753cf59eb244.png]: /images/20220828/ed7e5a672adb4f30b3b82e240975a42b.png
[28ad295dd0d10a8a0abedc3140ff94e6.png]: /images/20220828/b5f2ef1325ca4b81ace0e8bc9a5c964c.png
[09e9d983ff3e9b6be17c3301d7391637.gif]: /images/20220828/624dff6475ab4856a4af7ff95df8ad0b.png
[8fec0014151249b98cf93835941436c0.png]: /images/20220828/3cb3251efb184bf39f882743f318d40e.png
[AI _Facebook]: http://mp.weixin.qq.com/s?__biz=Mzg4NDQwNTI0OQ==&mid=2247549320&idx=1&sn=2e728b3730879433b55aeeba6b63562a&chksm=cfbae4e6f8cd6df0046f16e7a7db18caf61db222dea9596eb2788089ff58c78337d6a72d85fc&scene=21#wechat_redirect
[20]: http://mp.weixin.qq.com/s?__biz=Mzg4NDQwNTI0OQ==&mid=2247549512&idx=1&sn=fcab4e24457c3d95bb6ff25fa7474591&chksm=cfbae726f8cd6e3061d8ee9ed6c088780dd2cb88764ff49438c7f26b41d5b3bce3b658205a5c&scene=21#wechat_redirect
[Link 1]: https://blog.csdn.net/QbitAI/article/details/120857567
[ST-GCN]: https://blog.csdn.net/moxibingdao/article/details/114770292
[993041b360d98e57b0a2feb66b704e18.png]: /images/20220828/37611b8309da4061b9cdb90c408a6dce.png
[e2dda43c1572740c7213b5c23bcee815.png]: /images/20220828/de2a181aec50484c9a0617fe58b9f33b.png
[f9b2c725c363508282416861fdc58802.png]: /images/20220828/c6b7035f12734ce5a6791a243e400e29.png
[fa7d805db07795d9ba605e94cb01ef8e.png]: /images/20220828/7d6e7c060451434fb00cdeb88498a76b.png