数据库处理必须掌握的Pandas方法--Python&MySQL

逃离我推掉我的手 2022-08-31 02:21 134阅读 0赞

### 目录 ###

*   *  Pandas函数方法教程
     *  Pandas 和 Series 的 describe() 方法
     *  信息打印 info()
     *  查看前部数据 head()
     *  排序函数sort\_values()
     *  查看、删除重复行
     *  去重函数drop\_duplicates()
     *  设置索引set\_index( )
     *  列转行unstack()
     *  分组groupby()
     *  分组之后统计一列的不同值 nunique()
     *  transform()
     *  设置标签前缀add\_prefix(）
     *  设置后缀标签 add\_suffix()
     *  判断空:isna()
 *  关于数据表合并
 *   *  合并dataframe merge()
     *  join()
     *  连接函数 CONCAT ()
     *  CONCAT\_WS()
 *  删除某列
 *  tolist()
 *  dataframe对行列求和并添加行或列
 *  指定列求和
 *  其他

## [Pandas函数方法教程][Pandas] ##

**简介** ：andas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。

## Pandas 和 Series 的 describe() 方法 ##

describe()函数用于生成描述性统计信息。 描述性统计数据：数值类型的包括均值，标准差，最大值，最小值，分位数等；类别的包括个数，类别的数目，最高数量的类别及出现次数等；输出将根据提供的内容而有所不同。  
[函数官网][Link 1]  
[详解][Link 2]

## 信息打印 info() ##

info()函数用于打印DataFrame的简要摘要，显示有关DataFrame的信息，包括索引的数据类型dtype和列的数据类型dtype，非空值的数量和内存使用情况。  
[函数官网][Link 3]  
[详解][Link 4]

## 查看前部数据 head() ##

默认查看前五行数据

tb.head(n)	# 查看表tb的前n行

## 排序函数sort\_values() ##

函数原理类似于SQL中的**order by**，可以将数据集依照某个字段中的数据进行排序，该函数即可根据指定**列**数据也可根据指定**行**的数据排序。  
举例：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 1]

## 查看、删除重复行 ##

#查看重复的行有哪一些
    df.duplicated()
    #删除重复的行
    df.drop_duplicates()

[Pandas根据字段(列)查看具体有哪些重复的数据][Pandas 1]

## 去重函数drop\_duplicates() ##

1.  去除完全重复的行数据

data.drop_duplicates(inplace=True)

1.  去除某几列重复的行数据

data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)

**subset**： 列名，可选，默认为None

**keep**： \{‘first’, ‘last’, False\}, 默认值 ‘first’

*  first： 保留第一次出现的重复行，删除后面的重复行。
 *  last： 删除重复项，除了最后一次出现。
 *  False： 删除所有重复项。

**inplace**：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。（inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。）

错误写法：  
`data=data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)`  
inplace=True就会在原数据上进行修改了，不需要’data=’。上面代码会将data变成NoneType。

此函数说明参考博客：[https://blog.csdn.net/dzysunshine/article/details/100022994][https_blog.csdn.net_dzysunshine_article_details_100022994]

## 设置索引set\_index( ) ##

DataFrame可以通过set\_index方法，可以设置单索引和复合索引。

DataFrame.set_index(keys, drop=True, append=False, inplace=False,verify_integrity=False)

*  第一个参数是要作为索引的列名，可以设置多个（以列表形式）

DataFrame.set_index(["name", "Id"], inplace=True)

*  第二个参数是inplace，决定是否创建副本：为False则创建副本；为True则在原数据集修改
 *  参数drop–是否删除作为索引的列，默认True；  
    append–是否将新的列添加到索引中且不替换已有索引，默认False

append添加新索引，drop为False，inplace为True时，索引将会还原为列

## 列转行unstack() ##

**stack函数会将数据从”表格结构“变成”花括号结构“，即将其行索引变成列索引，反之，unstack函数将数据从”花括号结构“变成”表格结构“，即要将其中一层的列索引变成行索引。**–来自博客：[https://www.cnblogs.com/bambipai/p/7658311.html][https_www.cnblogs.com_bambipai_p_7658311.html]  
DataFrame的创建有多种方式，不过最重要的还是根据dict进行创建，以及读取csv或者txt文件来创建。

pandas中的Series对象有一个方法叫做unstack，调用一个具有二级索引的Series对象的unstack方法，会得到一个DataFrame对象。其索引就是Series对象的一级索引，列就是Series对象的二级索引。–\*--来自博客[https://www.cnblogs.com/traditional/p/11967360.html][https_www.cnblogs.com_traditional_p_11967360.html]

## 分组groupby() ##

pandas提供了一个灵活高效的groupby功能，它使你能一种自然地方式对数据集进行切片，切换，摘要等操作。  
根据一个或者多个键（可以是函数可以是数组或者DataFrame列名）拆分pandas对象。计算分组摘要统计，  
如计数、平均数、标准差、或者用户自定义的函数

PS:describe()描述组内数据的基本统计量，unstack()索引重排-----使结果更便于对比查看  
**groupby()能做什么？**

1.  df.groupby(col)，返回一个按列进行分组的groupby对象；
2.  df.groupby(\[col1,col2\])，返回一个按多列进行分组的groupby对象；
3.  df.groupby(col1)\[col2\]或者df\[col2\].groupby(col1)，两者含义相同，返回按列col1进行分组后，col2的值；

> **常用功能:**
> 
>  *  用 first()，tail() 截取每组前后几个数据，默认5
>  *  用 filter() 对分组进行过滤，保留满足（）条件的分组
>  *  用 apply() 对每组进行（自定义）函数运算 DataFrame的很多函数可以直接运用到Groupby对象上： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 2]  
>     **agg()实现分组多个运算** `sql df.groupby( ["班级","性别"]).agg([np.sum, np.mean, np.std]) # 一次计算了三个`

参考自：[https://www.cnblogs.com/Yanjy-OnlyOne/p/11217802.html][https_www.cnblogs.com_Yanjy-OnlyOne_p_11217802.html]

## 分组之后统计一列的不同值 nunique() ##

需求：loan\_type有多个取值，分别记数不同取值下有多少个不重复的report\_id  
**即先按loan\_type分组，然后统计report\_id列里没有重复值的数据**

model_df.groupby("loan_type").nunique()['report_id']

[一个nunique()示例][nunique]

## transform() ##

将刚刚分析出的数据与原始数据加工到一起，因为新旧数据的长度是不一样的。

## 设置标签前缀add\_prefix(） ##

DataFrame.add_prefix(prefix)

带有字符串前缀的前缀标签。

对于Series，行标签是前缀的。对于DataFrame，列标签是前缀的。  
![在这里插入图片描述][fbd562eb8e3a4614905ad50ddf20e8e5.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 3]

## 设置后缀标签 add\_suffix() ##

DataFrame.add_suffix(suffix)

带有字符串后缀的后缀标签。

对于Series，行标签加后缀。对于DataFrame，列标签加后缀。  
![在这里插入图片描述][96a2ad2506cc4a3bbade11d14dfe094a.png]

## 判断空:isna() ##

场景：  
dataframe的某一列id有很多空值，要筛选出不为空的数据：

df = dataframe[dataframe['report_id'].isna() == False]

类似函数isnull(),还有个isnan()  
总结一下：

*  numpy里边查找NaN值的话，就用np.isnan()。
 *  pandas里边查找NaN值的话，要么.isna()，要么.isnull()

# 关于数据表合并 #

[python数据表的合并(python pandas join() 、merge()和concat()的用法)][python_python pandas join_ _merge_concat]

## 合并dataframe merge() ##

用数据库样式的联接合并DataFrame或命名的Series对象。

联接在列或索引上完成。如果在列上连接列，则DataFrame索引将被忽略。否则，如果在索引上连接索引或在一个或多个列上建立索引，则将传递索引。

DataFrame.merge(self, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)

[参数详细说明][Link 5]

## join() ##

在索引或键列上与其他DataFrame连接列。通过传递列表，有效地通过索引连接多个DataFrame对象.

DataFrame.join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 4]

## 连接函数 CONCAT () ##

https://baijiahao.baidu.com/s?id=1595349117525189591&wfr=spider&for=pc

## CONCAT\_WS() ##

CONCAT\_WS() 代表 CONCAT With Separator ，是CONCAT()的特殊形式。 第一个参数是其它参数的分隔符。分隔符的位置放在要连接的两个字符串之间。分隔符可以是一个字符串，也可以是其它参数。如果分隔符为 NULL，则结果为 NULL。函数会忽略任何分隔符参数后的 NULL 值。

# 删除某列 #

通过pandas删除列：

1.del df\[‘columns’\] \#改变原始数据

2.df.drop(‘columns’,axis=1)\#删除不改表原始数据，可以通过重新赋值的方式赋值该数据

3.df.drop(‘columns’,axis=1,inplace=‘True’) \#改变原始数据

df.drop(columns=["handsome","smart"])#删除列名为handsome和smart的整列

# tolist() #

作用：将数组（array),矩阵（matrix）转化为列表

import pandas as pd
    df = pd.DataFrame({
        'a':[1,3,5,7,4,5,6,4,7,8,9],
                       'b':[3,5,6,2,4,6,7,8,7,8,9]})

df['a'].values.tolist()
    #[1, 3, 5, 7, 4, 5, 6, 4, 7, 8, 9]

\#or you can just use

df['a'].tolist()
    #[1, 3, 5, 7, 4, 5, 6, 4, 7, 8, 9]

\#To drop duplicates you can do one of the following:

df['a'].drop_duplicates().values.tolist()
    #[1, 3, 5, 7, 4, 6, 8, 9]

list(set(df['a'])) # as pointed out by EdChum
     #[1, 3, 4, 5, 6, 7, 8, 9]

\#convert df to list\[list\]

df.values.tolist()

\#conver series to list

Series.tolist()

**numpy的例子：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 5]

# dataframe对行列求和并添加行或列 #

计算各行数据总和并作为新列添加到末尾

df['Col_sum'] = df.apply(lambda x: x.sum(), axis=1)

计算各列数据总和并作为新行添加到末尾

df.loc['Row_sum'] = df.apply(lambda x: x.sum())

\*\*[ 详细代码及例子说明][Link 6] \*\*

# 指定列求和 #

code_table_data['权重'] = code_table_data.iloc[:,3:6].sum(axis=1)

解释：  
code\_table\_data\[‘权重’\] 为该数据设置新的一列

code\_table\_data.iloc\[:,3:6\] 为指定该数据哪些列需要求和

sum(axis=1) 为指定聚合函数并设置按**行或列**进行求和

# 其他 #

博客：[Pandas中的dataframe操作][Pandas_dataframe]

[Pandas]: https://www.cjavapy.com/category/33/
[Link 1]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.describe.html
[Link 2]: http://t.zoukankan.com/volcao-p-9525620.html
[Link 3]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.info.html#pandas.DataFrame.info
[Link 4]: https://blog.csdn.net/qq_40305043/article/details/104862499
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/4fdfa2fa6136489e935272fd8b600c35.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 1]: /images/20220829/01b3d6f6d7ee41d4a73816866dc0e091.png
[Pandas 1]: https://blog.csdn.net/qq_41780234/article/details/106906390
[https_blog.csdn.net_dzysunshine_article_details_100022994]: https://blog.csdn.net/dzysunshine/article/details/100022994
[https_www.cnblogs.com_bambipai_p_7658311.html]: https://www.cnblogs.com/bambipai/p/7658311.html
[https_www.cnblogs.com_traditional_p_11967360.html]: https://www.cnblogs.com/traditional/p/11967360.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 2]: /images/20220829/44bb4fa5ade745ccba510b1105044989.png
[https_www.cnblogs.com_Yanjy-OnlyOne_p_11217802.html]: https://www.cnblogs.com/Yanjy-OnlyOne/p/11217802.html
[nunique]: https://blog.csdn.net/qq_33333002/article/details/105466698
[fbd562eb8e3a4614905ad50ddf20e8e5.png]: /images/20220829/2090c79157094a75b5165c09af6a9dd4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 3]: /images/20220829/bc074374739841b89e57f33daec7c7ff.png
[96a2ad2506cc4a3bbade11d14dfe094a.png]: /images/20220829/0d044e74be0641c7a4425e734d58c098.png
[python_python pandas join_ _merge_concat]: https://www.cnblogs.com/xk-bench/p/8379180.html
[Link 5]: https://www.cjavapy.com/article/599/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 4]: /images/20220829/bc6cd95235264a5cb7ed8f7212d0aec0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzYyOTgxMw_size_16_color_FFFFFF_t_70 5]: /images/20220829/c374fbcec25b47e48be9b47efad28bf5.png
[Link 6]: https://blog.csdn.net/weixin_43629813/article/details/119894001
[Pandas_dataframe]: https://blog.csdn.net/weixin_43629813/article/details/119796007