数据分析利器 pandas 系列教程（二）：从强大的 DataFrame

叁歲伎倆 2023-07-04 03:28 55阅读 0赞

在上一篇文章 [数据分析利器 pandas 系列教程（一）：从 Series 说起][pandas _ Series] 中：详细介绍了 pandas 基础数据结构 Series，今天说说另一种数据结构 DataFrame。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70]

dataframe 是表格型的数据结构，由一组有序的列组成，可以看成是由 Series 组成的字典，举个例子：

<table> 
 <thead> 
  <tr> 
   <th align="center">/</th> 
   <th align="center">name</th> 
   <th align="center">sex</th> 
   <th align="center">course</th> 
   <th align="center">grade</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">0</td> 
   <td align="center">Bob</td> 
   <td align="center">male</td> 
   <td align="center">math</td> 
   <td align="center">99</td> 
  </tr> 
  <tr> 
   <td align="center">1</td> 
   <td align="center">Alice</td> 
   <td align="center">female</td> 
   <td align="center">english</td> 
   <td align="center">92</td> 
  </tr> 
  <tr> 
   <td align="center">2</td> 
   <td align="center">Joe</td> 
   <td align="center">male</td> 
   <td align="center">chinese</td> 
   <td align="center">89</td> 
  </tr> 
  <tr> 
   <td align="center">3</td> 
   <td align="center">Bob</td> 
   <td align="center">male</td> 
   <td align="center">chinese</td> 
   <td align="center">88</td> 
  </tr> 
  <tr> 
   <td align="center">4</td> 
   <td align="center">Alice</td> 
   <td align="center">female</td> 
   <td align="center">chinese</td> 
   <td align="center">95</td> 
  </tr> 
  <tr> 
   <td align="center">5</td> 
   <td align="center">Joe</td> 
   <td align="center">male</td> 
   <td align="center">english</td> 
   <td align="center">93</td> 
  </tr> 
  <tr> 
   <td align="center">6</td> 
   <td align="center">Bob</td> 
   <td align="center">male</td> 
   <td align="center">english</td> 
   <td align="center">95</td> 
  </tr> 
  <tr> 
   <td align="center">7</td> 
   <td align="center">Alice</td> 
   <td align="center">female</td> 
   <td align="center">math</td> 
   <td align="center">79</td> 
  </tr> 
  <tr> 
   <td align="center">8</td> 
   <td align="center">Joe</td> 
   <td align="center">male</td> 
   <td align="center">math</td> 
   <td align="center">89</td> 
  </tr> 
 </tbody> 
</table>

## 创建 dataframe 的常见方式 ##

同 series 一样，dataframe 也有 index，不同的是，series 除了 index，只有一列，而 dataframe 通常有很多列，比如上面的 dataframe 就有四列，而且都有名字：name、sex、course、grade，通过这些名字，可以索引到某一列，这些名字称为列（索引），因此，在 dataframe，我更愿意将 index 称为行索引，以此和列索引区分开。

创建 dataframe 其实有 N 种方法，没必要一一掌握，毕竟常用的不过两三种，我也不打算把所有的创建方式都说一遍，那样有炫技的嫌疑，按照自己的理解，我把这些创建方式统一分为两大类：按列的方式创建、按行的方式创建，只讲这两大类下各自最具代表性的创建方式。

以创建上面那个 dataframe 为例，后同。

### 通过列创建 ###

import pandas as pd
    #没有设置行索引 index，取默认值
    df = pd.DataFrame({'name':['Bob','Alice','Joe']*3,
                   'sex':['male','female','male']*3,
                   'course':['math','english','chinese','chinese','chinese','english','english','math','math'],
                   'grade':[99,92,89,88,95,93,95,79,89]})
    print(df)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 1]

### 通过行创建 ###

data = [['Bob','male','math',99],
    ['Alice','female','english',92],
    ['Joe','male','chinese',89],
    ['Bob','male','chinese',88],
    ['Alice','female','chinese',95],
    ['Joe','male','english',93],
    ['Bob','male','english',95],
    ['Alice','female','math',79],
    ['Joe','male','math',89]]
    columns = ['name','sex','course','grade']
    df = pd.DataFrame(data=data,columns=columns)
    print(df)

打印结果同上。

## dataframe 的基本属性和整体描述 ##

<table> 
 <thead> 
  <tr> 
   <th align="center">属性</th> 
   <th align="center">含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">df.shape</td> 
   <td align="center">df 的行数、列数</td> 
  </tr> 
  <tr> 
   <td align="center">df.index</td> 
   <td align="center">df 的行索引</td> 
  </tr> 
  <tr> 
   <td align="center">df.columns</td> 
   <td align="center">df 的列索引（名称）</td> 
  </tr> 
  <tr> 
   <td align="center">df.dtypes</td> 
   <td align="center">df 各列数据类型</td> 
  </tr> 
  <tr> 
   <td align="center">df.valuse</td> 
   <td align="center">df 对象值，是一个二维 ndarray 数组</td> 
  </tr> 
 </tbody> 
</table>

print(df.shape,'\n')
    print(df.index,'\n')
    print(df.columns,'\n')
    print(df.dtypes,'\n')
    print(df.values,'\n')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 2]

注意各列的数据类型，由于 pandas 可以自己推断数据类型，因此 grade 为 64 位 int 型而不是 object 类型。

<table> 
 <thead> 
  <tr> 
   <th align="center">函数</th> 
   <th align="center">作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">df.head()</td> 
   <td align="center">打印前面 n 行，默认 5 行</td> 
  </tr> 
  <tr> 
   <td align="center">df.tail()</td> 
   <td align="center">打印后面 n 行，默认 5 行</td> 
  </tr> 
  <tr> 
   <td align="center">df.info()</td> 
   <td align="center">打印行数、列数、列索引、列非空值个数等整体概览信息</td> 
  </tr> 
  <tr> 
   <td align="center">df.describe()</td> 
   <td align="center">打印计数、均值、方差、最小值、四分位数、最大值等整体描述信息</td> 
  </tr> 
 </tbody> 
</table>

print(df.head(),'\n')
    print(df.tail(3),'\n')
    print(df.info(),'\n')
    print(df.describe(),'\n')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 4]

## dataframe 查询 ##

### loc\[\] 和 iloc\[\] ###

看过 [数据分析利器 pandas 系列教程（一）：从 Series 说起][pandas _ Series] 的读者应该知道，`iloc[]` 的 `i` 是 `integer` 的意思，意味着 `iloc[]` 只能通过位置查询，而 `loc[]` 可以通过行、列索引查询；类似地，这两个函数既可以查询，也可以新增、修改。

为体现差异，我们先把行索引从 0-8 变换为 1-9（均指前闭后闭区间，而 `range()` 是前闭后开区间）：

df.index = range(1,10)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 5]

假定我们要完成一个任务：把 Bob 的 math 成绩改成 100。

用 `loc[]` 完成如下：

df.loc[1,'grade'] = 100
    print(df,'\n')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 6]

而用 `iloc[]`，对应的代码如下：

df.iloc[0,3] = 100
    print(df,'\n')

`iloc[]` 是根据位置查询的，和行索引、列索引没有一点儿关系，这也是我为什么事先修改行索引的缘故，方便对比`iloc[]`和`loc[]`的第一个参数信息。

这两次查询都是 点查询，其实 `loc[]` 和 `iloc[]` 也支持 块查询，示例代码如下：

print(df.loc[[1,3,9],['name','grade']],'\n')
    print(df.iloc[[0,2,8],[0,3]])

![在这里插入图片描述][20200207185321499.png]

### 遍历查询 ###

for index,row in df.iterrows():
    	print(index,': ',row['name'],row['sex'],row['course'],row['grade'])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 7]

## 与 Series 的关系 ##

通过 series 可以创建 dataframe:

names = pd.Series(['Bob','Alice','Joe']*3)
    sexs = pd.Series(['male','female','male']*3)
    courses = pd.Series(['math','english','chinese','chinese','chinese','english','english','math','math'])
    grades = pd.Series([99,92,89,88,95,93,95,79,89])
    df = pd.DataFrame({'name':names,'sex':sexs,'course':courses,'grade':grades})

打印结果就是文章开头那个 dataframe，这种创建方式可以划分到 按列的方式创建，不过没有上面所讲的那种方式常用。

而 dataframe 可以通过 df\[列名\] 的方式得到 series：

print(df['name'],type(df['name']),'\n')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 8]

于是乎，所有对 series 的操作，适用于 `df['name']`:

print(df['name'].values,type(df['name'].values),'\n')
    print(df['name'].unique(),type(df['name'].unique()),'\n')

![在这里插入图片描述][20200207185401179.png]

这里我纠正一下我上篇文章中的错误之处：series.values 或 series.unique() 返回的并不是列表，虽然打印结果像列表（因为对 `__str__()`函数进行了重载），但实际上却是 `ndarray` 对象，一种类似列表的数组，可以通过 `.tolist()` 转为列表。

print(df['name'].values.tolist(),type(df['name'].values.tolist()),'\n')
    print(df['name'].unique().tolist(),type(df['name'].unique().tolist()),'\n')

![在这里插入图片描述][2020020718542364.png]

series 上次漏说了一个重要的操作 `apply()`：对列上的数据作处理，它可以使用 lambda 表达式作为参数，也可以使用已定义函数的函数名称（不需要带上`()`）作为参数，比如我们让每个人的每门课成绩加减 10 分：

# lambda 表达式适用于比较简单的处理
    df['grade'] = df['grade'].apply(lambda x:x-10)
    print(df,'\n')
    # 定义函数适用于比较复杂的处理，这里仅作示例
    def operate(x):
    	return x+10
    df['grade'] = df['grade'].apply(operate)
    print(df)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 9]

注意 `apply()` 函数是有返回值的，并且是要用 `df['grade']` 接收而不是 df，否则整个 dataframe 只会剩下 grade 这一列。

## 新增删除行或列 ##

新增/删除行或列方法不甚枚举，这里我抛砖引玉只说几种常用的。

删除行/列通过 `drop()` 函数即可完成：

# drop() 的第一个参数是行索引或者列索引
    # axis = 0  删除行
    df.drop([0,7,8],axis=0,inplace=True) # 删除所有人的数学成绩
    # axis = 0  删除列
    df.drop(['sex'],axis=1,inplace=True) # 删除所有人的性别信息
    print(df)

![在这里插入图片描述][20200207185446464.png]

和 series 一样，新增一行可用 `set_value()`，`at[]`，`loc[]`，如果行索引存在，则是修改，否则就是新增；下面三行代码，每一行的效果相同，都是修改了 Alice 的 english 成绩 为 100：

# 不一定非得要列表，只要是可迭代对象即可
    df.loc[1] = ['Alice', 'english', 100]
    df.at[1] = ['Alice', 'english', 100]
    # set_value 会在将来被舍弃
    df.set_value(1, df.columns, ['Alice', 'english', 100], takeable=False)

新增一列可以通过 `df[列名]=可迭代对象` 或者 `df[:,列名]=可迭代对象` 实现，来个任务驱动，比如新增一列成绩等级，60 分以下为不及格，60-89 为良，90-100 为优：

level = []
    for grade in df['grade'].values.tolist():
    	if grade<60:
    		level.append('不及格')
    	elif grade>=60 and grade<90:
    		level.append('良')
    	else:
    		level.append('优')
    df['level'] = level
    print(df)

![在这里插入图片描述][20200207185457999.png]

至此，pandas 中两种基本数据结构说完了，下一篇来谈谈 pandas 中各种读写文件函数的坑。

[pandas _ Series]: https://blog.csdn.net/ygdxt/article/details/104152401
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200207185117295.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200207185202112.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200207185216241.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200207185233568.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200207185241241.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200207185256434.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200207185312277.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[20200207185321499.png]: https://img-blog.csdnimg.cn/20200207185321499.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200207185335735.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200207185347107.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[20200207185401179.png]: https://img-blog.csdnimg.cn/20200207185401179.png
[2020020718542364.png]: https://img-blog.csdnimg.cn/2020020718542364.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200207185435974.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70
[20200207185446464.png]: https://img-blog.csdnimg.cn/20200207185446464.png
[20200207185457999.png]: https://img-blog.csdnimg.cn/20200207185457999.png