pandas速查手册(中文版)

傷城~ 2023-10-07 08:17 2阅读 0赞

本文翻译自文章：[Pandas Cheat Sheet - Python for Data Science][]

对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。

如果你想学习Pandas，建议先看两个网站。

（1）官网：[Python Data Analysis Library][]

（2）十分钟入门Pandas：[10 Minutes to pandas][]

在第一次学习Pandas的过程中，你会发现你需要记忆很多的函数和方法。所以在这里我们汇总一下[Pandas官方文档 ][Pandas_]中比较常用的函数和方法，以方便大家记忆。同时，我们提供一个PDF版本，方便大家打印。[pandas-cheat-sheet.pdf][]

关键缩写和包导入

在这个速查手册中，我们使用如下缩写：

df：任意的Pandas DataFrame对象

同时我们需要做如下的引入：

import pandas as pd

导入数据

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

pd.read_csv(filename)：从CSV文件导入数据
    pd.read_table(filename)：从限定分隔符的文本文件导入数据
    pd.read_excel(filename)：从Excel文件导入数据
    pd.read_sql(query, connection_object)：从SQL表/库导入数据
    pd.read_json(json_string)：从JSON格式的字符串导入数据
    pd.read_html(url)：解析URL、字符串或者HTML文件，抽取其中的tables表格
    pd.read_clipboard()：从你的粘贴板获取内容，并传给read_table()
    pd.DataFrame(dict)：从字典对象导入数据，Key是列名，Value是数据

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

导出数据

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

df.to_csv(filename)：导出数据到CSV文件
    df.to_excel(filename)：导出数据到Excel文件
    df.to_sql(table_name, connection_object)：导出数据到SQL表
    df.to_json(filename)：以Json格式导出数据到文本文件
    创建测试对象
    pd.DataFrame(np.random.rand(20,5))：创建20行5列的随机数组成的DataFrame对象
    pd.Series(my_list)：从可迭代对象my_list创建一个Series对象
    df.index = pd.date_range('1900/1/30', periods=df.shape[0])：增加一个日期索引

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

查看、检查数据

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

df.head(n)：查看DataFrame对象的前n行
    df.tail(n)：查看DataFrame对象的最后n行
    df.shape()：查看行数和列数
    df.info() ：查看索引、数据类型和内存信息
    df.describe()：查看数值型列的汇总统计
    s.value_counts(dropna=False)：查看Series对象的唯一值和计数
    df.apply(pd.Series.value_counts)：查看DataFrame对象中每一列的唯一值和计数

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

数据选取

df[col]：根据列名，并以Series的形式返回列
    df[[col1, col2]]：以DataFrame形式返回多列
    s.iloc[0]：按位置选取数据
    s.loc['index_one']：按索引选取数据
    df.iloc[0,:]：返回第一行
    df.iloc[0,0]：返回第一列的第一个元素

数据清理

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

df.columns = ['a','b','c']：重命名列名
    pd.isnull()：检查DataFrame对象中的空值，并返回一个Boolean数组
    pd.notnull()：检查DataFrame对象中的非空值，并返回一个Boolean数组
    df.dropna()：删除所有包含空值的行
    df.dropna(axis=1)：删除所有包含空值的列
    df.dropna(axis=1,thresh=n)：删除所有小于n个非空值的行
    df.fillna(x)：用x替换DataFrame对象中所有的空值
    s.astype(float)：将Series中的数据类型更改为float类型
    s.replace(1,'one')：用‘one’代替所有等于1的值
    s.replace([1,3],['one','three'])：用'one'代替1，用'three'代替3
    df.rename(columns=lambda x: x + 1)：批量更改列名
    df.rename(columns={'old_name': 'new_ name'})：选择性更改列名
    df.set_index('column_one')：更改索引列
    df.rename(index=lambda x: x + 1)：批量重命名索引

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

数据处理：Filter、Sort和GroupBy

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> <p>10</p> <p>11</p> </td> 
   <td> <p><code>df[df[col] &gt; 0.5]：选择col列的值大于0.5的行</code></p> <p><code>df.sort_values(col1)：按照列col1排序数据，默认升序排列</code></p> <p><code>df.sort_values(col2,&nbsp;</code><code>ascending</code><code>=False)：按照列col1降序排列数据</code></p> <p><code>df.sort_values([col1,col2],&nbsp;</code><code>ascending</code><code>=[True,False])：先按列col1升序排列，后按col2降序排列数据</code></p> <p><code>df.groupby(col)：返回一个按列col进行分组的Groupby对象</code></p> <p><code>df.groupby([col1,col2])：返回一个按多列进行分组的Groupby对象</code></p> <p><code>df.groupby(col1)[col2]：返回按列col1进行分组后，列col2的均值</code></p> <p><code>df.pivot_table(index=col1, values=[col2,col3], aggfunc=max)：创建一个按列col1进行分组，并计算col2和col3的最大值的数据透视表</code></p> <p><code>df.groupby(col1).agg(np.mean)：返回按列col1分组的所有列的均值</code></p> <p><code>data.apply(np.mean)：对DataFrame中的每一列应用函数np.mean</code></p> <p><code>data.apply(np.max,axis=1)：对DataFrame中的每一行应用函数np.max</code></p> </td> 
  </tr> 
 </tbody> 
</table>

数据合并

df1.append(df2)：将df2中的行添加到df1的尾部
    df.concat([df1, df2],axis=1)：将df2中的列添加到df1的尾部
    df1.join(df2,on=col1,how='inner')：对df1的列和df2的列执行SQL形式的join

数据统计

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

df.describe()：查看数据值列的汇总统计
    df.mean()：返回所有列的均值
    df.corr()：返回列与列之间的相关系数
    df.count()：返回每一列中的非空值的个数
    df.max()：返回每一列的最大值
    df.min()：返回每一列的最小值
    df.median()：返回每一列的中位数
    df.std()：返回每一列的标准差

来源：[https://www.cnblogs.com/lvpengbo/p/10851096.html][https_www.cnblogs.com_lvpengbo_p_10851096.html]

[Pandas Cheat Sheet - Python for Data Science]: https://link.jianshu.com/?t=https%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttps%253A%2F%2Fwww.dataquest.io%2Fblog%2Fpandas-cheat-sheet%2F
[Python Data Analysis Library]: https://link.jianshu.com/?t=https%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttp%253A%2F%2Fpandas.pydata.org%2F
[10 Minutes to pandas]: https://link.jianshu.com/?t=https%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttp%253A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2F10min.html
[Pandas_]: https://link.jianshu.com/?t=https%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttp%253A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Findex.html
[pandas-cheat-sheet.pdf]: https://link.jianshu.com/?t=https%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttps%253A%2F%2Fwww.dataquest.io%2Fblog%2Fimages%2Fcheat-sheets%2Fpandas-cheat-sheet.pdf
[aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg
[https_www.cnblogs.com_lvpengbo_p_10851096.html]: https://www.cnblogs.com/lvpengbo/p/10851096.html

发表评论取消回复

表情：

评论列表（有 0 条评论，2人围观）

还没有评论，来说两句吧...

相关阅读

相关瑞萨MCU型号速查手册中文版

下载地址： [瑞萨MCU型号速查手册.pdf][MCU_.pdf] [MCU_.pdf]: https://u20079657.ctfile.com/fs/200...

Bertha 。/ 2024年04月18日 14:18/ 0 赞/ 92 阅读

相关 pandas速查手册(中文版)

本文翻译自文章：[Pandas Cheat Sheet - Python for Data Science][] 对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas

傷城~/ 2023年10月07日 08:17/ 0 赞/ 3 阅读

相关 Nginx速查手册

> Nginx是一款轻量级的HTTP服务器，采用事件驱动的异步非阻塞处理方式框架，这让其具有极好的IO性能，时常用于服务端的反向代理和负载均衡。 ![在这里插入图片描述][w

深碍√TFBOYSˉ_/ 2023年09月30日 12:41/ 0 赞/ 58 阅读

相关 flex 速查手册

Flex标准写法: 概述: 总的来说就是12个属性; 关于容器的6个,5个单一属性,分别定义了元素排列的方向, 行, 水平排列, 垂直排列, 空白分布, 和一个简写

布满荆棘的人生/ 2023年06月07日 12:04/ 0 赞/ 74 阅读

相关 Git速查手册

`1024`了，程序猿们节日快乐，简单整理个供小白使用的git速查手册，之后有时间再完善，其实一会一些简单的操作平时工作就够用了（只要你别闹！一般不会有什么大问题），哈哈哈

青旅半醒/ 2023年05月31日 10:03/ 0 赞/ 37 阅读

相关 Linux命令速查手册

文章目录查看Linux系统信息 date 显示系统日期关机(关机、重启、登出 ) 文件和目录文件

- 日理万妓/ 2023年01月23日 09:52/ 0 赞/ 260 阅读

相关 SonarQube速查手册

目录前言复杂度（Complexity）覆盖率（Coverage）重复（Duplication) 问题（Issues) 可维护性（Maintainabilit

叁歲伎倆/ 2022年11月13日 09:28/ 0 赞/ 394 阅读

相关 10分钟了解pandas-速查手册

《10 Minutes to pandas》的一个简单的翻译，原文在[这里][Link 1]。习惯上，我们会按下面格式引入所需要的包： ![091345070096306.j

本是古典何须时尚/ 2022年05月24日 07:52/ 0 赞/ 245 阅读

相关 DL概念速查手册

> 编者按：入门深度学习的方法有很多，其中最便捷的是在线课程。但是，从做出这项选择起，新手要面临的就不仅是全新的知识体系，还有无数的陌生术语。在开始阅读前，请自问自答：什么是A

Bertha 。/ 2022年05月08日 00:06/ 0 赞/ 269 阅读

相关 Linux 命令速查手册

点击上方 [Java后端][Java]，选择设为星标优质文章，及时送达 -------------------- 查看Linux系统信息 arch

今天药忘吃喽~/ 2021年09月02日 03:04/ 0 赞/ 476 阅读