数据分析之Pandas--数据检索

拼搏现实的明天。 2023-10-11 00:06 76阅读 0赞

[数据分析之Pandas（03）--数据检索][Pandas_03_--]

`pandas`的数据检索功能是其最基础也是最重要的功能之一。

`pandas`中最常用的几种数据过滤方式如下：

1.  1. 行列过滤：选取指定的行或者列
2.  2. 条件过滤：对列的数据设置过滤条件
3.  3. 函数过滤：通过函数设置更加复杂的过滤条件

本篇所有示例所使用的测试数据如下：

import pandas as pd
    import numpy as np
    
    fp = "http://databook.top:8888/pandas/cn-people.csv"
    df = pd.read_csv(fp)
    df

![22510d78ae2524ff43b0bb7ef5450486.png][]

image.png

# 1. 行列过滤 #

`pandas`中最常用的按行或者按列选择数据的函数是 `loc` 和 `iloc`。

## 1.1 loc 函数 ##

`loc`函数通过标签索引选择行列数据，可以在一个语句中同时指定行和列的条件。 按范围选取行：

df.loc([1:5, :])

![94094d22271b7bdd7991aa702f3d4699.png][]

image.png

选取指定的行：

df.loc[[1, 5], :]

![a0bb7c1e0f11ef1ecb0947015531bee9.png][]

image.png

按范围选取列：

df.loc[:, "年份":"指标中文"]

![a434b38200f287f03f21dfbca85ed73d.png][]

image.png

选取指定的列：

df.loc[:, ["年份","指标中文"]]

![29bd1b1eb8f7820424a6980e4dd4720d.png][]

image.png

行和列也可以同时设置：

df.loc[1:3, ["年份","指标中文"]]

![85efc2bb307812767ec68eda942c4cb9.png][]

image.png

## 1.2 iloc 函数 ##

`iloc`函数通过整数位置索引选择行列数据。 这种方法与loc方法类似，但是它使用整数位置而不是标签。

按范围选择行：

df.iloc([1:5, :])

![a06f281c3f768bb8496e11bd93626372.png][]

image.png

注意这里可以看出`iloc`和`loc`的区别，同样的范围`[1:5]`， `iloc`**不包括**`index=5`的数据，而`loc`是**包括**`index=5`的数据。

选择指定的行：

df.iloc[[1, 5], :]

![bd1c7f4c924e5ae1d4b87a9dc07fe5de.png][]

image.png

这种选择方式下，`iloc`和`loc`函数返回的结果是一样的。

按范围选择列：

df.iloc[:, 0:3]

![9da50155062b467c4c905e6018ff91c7.png][]

image.png

注意，这里是 `iloc`和`loc`的另一个区别， `iloc`只能用**数字序列**来表示列的范围（第一列对应数字0）， 回顾之前的`loc`函数，我们可以用列名来表示范围的`df.loc[:, "年份":"指标中文"]`。

另外，`iloc`表示列的范围`0:3`表示是`0,1,2`三列，不包括`3`这一列。

选择指定的列：

df.iloc[:, [0, 2]]

![9a788583b3c5d9c5dab906bcbb2658d5.png][]

image.png

同`loc`一样，`iloc`也可以行和列同时设置：

df.iloc[1:5, [0, 2]]

![d801ecc807bee6a12f2c963fb4e20a7c.png][]

image.png

# 2. 条件过滤 #

行列过滤的方式是基于索引和列名称来过滤的，除此之外，还可以根据列的值来过滤。 这也是分析时常用的过滤方式。

## 2.1 单条件 ##

根据列的值来过滤，列的值是数值还是字符串都可以。

df[df["年份"] > 2020]

![31b1ff5aed5aa2ac9cacff6405f91df2.png][]

image.png

字符串的过滤方式：

df[df["指标中文"].str.contains("乡村")].head()

![3bf883be673872529d13b16b7820d9b9.png][]

image.png

## 2.2 多条件 ##

除了设置单独的条件之外，也支持通过逻辑符号`&`和`|`来设置多个条件。

df[(df["年份"] > 2020) & (df["指标中文"].str.contains("乡村"))]

![962d1a1c1ec32d485cf90ee28e590511.png][]

image.png

必须同时满足`年份>2021`和`指标中文包含乡村`两个条件的数据，只有1条。

df[(df["年份"] > 2020) | (df["指标中文"].str.contains("乡村"))].head(6)

![0f624c9b857380652c7c28321410adfe.png][]

image.png

只要满足`年份>2021`和`指标中文包含乡村`两个条件之一的数据。

# 3. 函数过滤 #

`pandas`中还有两种通过函数来过滤和转换数据的方式，这种方式可以将自定义的函数应用到数据之上。 这样就提供了相当灵活的数据操作方式。

## 3.1 apply ##

针对`DataFrame`某一列数据的`apply`。 比如下面的示例增加一列，其值是将`value`列的数据放大10倍：

df["value10倍"] = df["value"].apply(lambda x: x*10)
    df

![0b9f3911fc97f692090e6023b63238fa.png][]

image.png

## 3.2 map ##

针对`DataFrame`某一列数据的`map`。 比如下面的示例增加一列，其值是设置**指标中文**的缩写。

df["指标缩写"] = df["指标中文"].map({"年末总人口": "总人口", "乡村人口": "乡村"})
    df

![e33980a9513ff762985bb4aa648793e9.png][]

image.png

# 4. 总结回顾 #

本篇主要介绍了`pandas`数据检索的常用方式，数据检索是做分析时最常用的步骤。 通过数据过滤方法，快速确定用于分析的数据范围，剥离无用的数据，提高分析的效率。

数据检索方式由易到难分别为：

1.  1. 行列过滤，`loc`和`iloc`
2.  2. 条件过滤，单条件和多条件过滤
3.  3. 函数过滤，自定义函数灵活的调整已有列的数据

[Pandas_03_--]: https://mp.weixin.qq.com/s?__biz=MzkyODIzMDczMQ==&mid=2247483906&idx=1&sn=f28b5bde653626e573ef0b079c5e5613&chksm=c21abe26f56d37309527286f36ca9459ce78800da4429355db2f64dc3446e92caaea70e1bec1&scene=178&cur_album_id=2864481100214026240#rd
[22510d78ae2524ff43b0bb7ef5450486.png]: https://img-blog.csdnimg.cn/img_convert/22510d78ae2524ff43b0bb7ef5450486.png
[94094d22271b7bdd7991aa702f3d4699.png]: https://img-blog.csdnimg.cn/img_convert/94094d22271b7bdd7991aa702f3d4699.png
[a0bb7c1e0f11ef1ecb0947015531bee9.png]: https://img-blog.csdnimg.cn/img_convert/a0bb7c1e0f11ef1ecb0947015531bee9.png
[a434b38200f287f03f21dfbca85ed73d.png]: https://img-blog.csdnimg.cn/img_convert/a434b38200f287f03f21dfbca85ed73d.png
[29bd1b1eb8f7820424a6980e4dd4720d.png]: https://img-blog.csdnimg.cn/img_convert/29bd1b1eb8f7820424a6980e4dd4720d.png
[85efc2bb307812767ec68eda942c4cb9.png]: https://img-blog.csdnimg.cn/img_convert/85efc2bb307812767ec68eda942c4cb9.png
[a06f281c3f768bb8496e11bd93626372.png]: https://img-blog.csdnimg.cn/img_convert/a06f281c3f768bb8496e11bd93626372.png
[bd1c7f4c924e5ae1d4b87a9dc07fe5de.png]: https://img-blog.csdnimg.cn/img_convert/bd1c7f4c924e5ae1d4b87a9dc07fe5de.png
[9da50155062b467c4c905e6018ff91c7.png]: https://img-blog.csdnimg.cn/img_convert/9da50155062b467c4c905e6018ff91c7.png
[9a788583b3c5d9c5dab906bcbb2658d5.png]: https://img-blog.csdnimg.cn/img_convert/9a788583b3c5d9c5dab906bcbb2658d5.png
[d801ecc807bee6a12f2c963fb4e20a7c.png]: https://img-blog.csdnimg.cn/img_convert/d801ecc807bee6a12f2c963fb4e20a7c.png
[31b1ff5aed5aa2ac9cacff6405f91df2.png]: https://img-blog.csdnimg.cn/img_convert/31b1ff5aed5aa2ac9cacff6405f91df2.png
[3bf883be673872529d13b16b7820d9b9.png]: https://img-blog.csdnimg.cn/img_convert/3bf883be673872529d13b16b7820d9b9.png
[962d1a1c1ec32d485cf90ee28e590511.png]: https://img-blog.csdnimg.cn/img_convert/962d1a1c1ec32d485cf90ee28e590511.png
[0f624c9b857380652c7c28321410adfe.png]: https://img-blog.csdnimg.cn/img_convert/0f624c9b857380652c7c28321410adfe.png
[0b9f3911fc97f692090e6023b63238fa.png]: https://img-blog.csdnimg.cn/img_convert/0b9f3911fc97f692090e6023b63238fa.png
[e33980a9513ff762985bb4aa648793e9.png]: https://img-blog.csdnimg.cn/img_convert/e33980a9513ff762985bb4aa648793e9.png