数据分析(三)Pandas数据结构基础3.Pandas的层次化索引,数据合并,文件存取excel文件

古城微笑少年丶 2023-07-11 05:40 19阅读 0赞

本文内容来自网易云课堂微专业数据分析学习笔记,授课为毕滢老师

安装更新pandas:pip install pandas --upgrade i https://mirrors.163.com/pypi/simple/

## Pandas的层次化索引 ##

**同一个轴可以用多种方式索引(有类似于excel排序第1关键字第2关键字的意思)**

book_ratings=pd.Series(
    	np.random.randint(1,6,size=7),#待查询理解
    	index=[
    	['b1','b1','b2','b2','b3','b4','b4'],
    	[1,2,1,2,1,2,3]#有类似于excel排序第1关键字第2关键字的意思
    	]
    	)
    print(book_ratings)

**给一个DataFrame指定索引字段**

data**.set\_index(\[**'指定索引字段名'\]**)  \#当字段被指定为索引之后,在col里就视为没有了.**  
lookup=data2.set\_index(**\[**'book\_id','best\_book\_id'**\]**)   \#当索引字段是一个的时候,加不加方括号不影响,但有2个,则只有加了\[\]才有效.

![20200304071022891.png][]

## Pandas数据合并 ##

**1.两个DataFrame进行合并(类似集合的操作)**

book_name=pd.DataFrame({
    	'book_name':['a','b','c','d','e','f'],
    	'book_id':[11,22,33,44,55,66]              #两者都有'book_id'
    	})
    id_rating=pd.DataFrame({
    	'book_id':[11,22,22,44,55,66,33,11,55],    #两者都有'book_id'
    	'rating':[1,3,5,2,4,3,2,4,5]
    	})
    print(pd.merge(book_name,id_rating))

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70][]

**2.两个DataFrame进行合并,不指定连接方式 (默认会把都有的合并,不共有的扔掉)**

data1=pd.DataFrame({
    	'key':['a','b','a','c','b','d'],     #两者都有'key'
    	'data1':[1,2,3,4,5,6]	#ValueError: arrays must all be same length
    	})
    data2=pd.DataFrame({
    	'key':['a','b','c'],                #两者都有'key'
    	'data2':[8,9,7]
    	})
    print(pd.merge(data1,data2))

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 1][]

**3.两个DataFrame进行合并,指定连接方式   (只要有的都保留,)**

data1=pd.DataFrame({
    	'key':['a','b','a','c','b','d'],
    	'data1':[1,2,3,4,5,6]	#ValueError: arrays must all be same length
    	})
    data2=pd.DataFrame({
    	'key':['a','b','c'],
    	'data2':[8,9,7]
    	})
    print(pd.merge(data1,data2,how='outer'))	#只要有,就保留

①merge(,,how=**'outer'**)    (合并,存在即合理,缺失数据自动补为NaN)  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 2][]  
  
②merge(,,how=**'left'**)    (合并,以**左**位data1含有的为准)  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 3][]

③merge(,,how=**'right'**)    (合并,以**右**位data2含有的为准)  (与outer表面上相似,其实如右位data2还含有其比如'f'时,差异就会显现)  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 4][]

**4.两个DataFrame合并,指定连接的列名称(**如果有多个同名列的话**)**

print(pd.merge(data1,data2,**how='共同的key'**))  \#与前例类似格式

**5.两个DataFrame进行合并,分别指定连接的列名称  (两者没有共同的列名称)**

data1=pd.DataFrame({
    	'1key':['a','b','a','c','b','d'],
    	'data1':[1,2,3,4,5,6]	#ValueError: arrays must all be same length
    	})
    data2=pd.DataFrame({
    	'rkey':['a','b','c'],
    	'data2':[8,9,7]
    	})
    print(pd.merge(data1,data2,
    	left_on='1key',right_on='rkey'))	#分别指定关键列名称

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 5][]

### **6.创建查询表:** ###

**(1).表2创建lookup表    从众多列里取出一个(部分)要用的列**  
lookup\_2=data2.set\_index**(**'book\_id'**)**\['authors'\]  
lookup\_2=data2.set\_index**(\[**'book\_id'**\])**\['authors'\]  
这两种写法,效果没什么不同.如果index字段不只一个的话,则需用第2种方式,加上方括号.

**(2)给表1增加一个字段名'bookname',并以表2的查询表lookup\_2查询(map)获得的数据给'bookname'赋值.  
data1\['bookname'\]=data\['book\_id'\].map(lookup\_2)**

## Pandas文件存取   \#非常重要   ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 6][] ##

**读取csv文件 pd.read\_csv()   \#默认把csv文件的第一行当作标题**

data=pd.read_csv('数据分析第一页.csv')
    print(data)

**读取csv文件,不要标题行 pd.read\_cv(' .csv文件',header=None)   \#csv文件没有标题行时用**

data=pd.read_csv('数据分析第一页.csv',header=None)
    print(data)

**读取csv文件,自定义标题行**

![20200304122354353.png][]

data=pd.read_csv('有列标题.csv',names=['行号列','第1列','第2列','第3列','第4列'])
    print(data)

![20200304123115521.png][]

**读取csv文件,指定某列作为索引列,在圆括号内,加index\_col='要当作索引的列 '**

data=pd.read_csv('有列标题.csv',
    	names=['行号列','第1列','第2列','第3列','第4列'],
    	index_col='行号列'  #指定"行号列"作为索引列
    	)
    print(data)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 7][]

读取csv文件,指定分隔符(默认是逗号,也可以指定为其他比如竖线|等)

data=pd.read_csv('有列标题.csv',
    	names=['行号列','第1列','第2列','第3列','第4列'],
    	sep=','
    	)

**读取CSV文件,自动处理缺失的数据** (类似合并merge,print(pd.**merge**(data1,data2,**how='outer'**)))

data=pd.read_csv('有列标题.csv',header=None)
    print(data)

**储存数据为CSV文件**  
data.to\_csv('要存成的文件名.csv')  
注意:保存的时候,默认会添加一列数字为作索引列(左上角第一格无内容)

复习:读入:pd.read\_csv('要读取的文件名.csv')

**读取excel文件**  
安装xlrd模块,现在xlrd模块似已用excelrd替代.  
(关于xlrdrd和excelrd请参考[https://blog.csdn.net/ahmcwt/article/details/104509698][https_blog.csdn.net_ahmcwt_article_details_104509698])  
**两句代码:(1):**  
**file=pd.ExcelFile('readexec.xlsx')**  \#注意这个ExcelFile大小写,如果错了,就错了.之前写成**EXcelFile**了,还是班里小黄老师给纠错.  
\#读取excel文件  
(2):  
**data=file.parse('Sheet')**  
\#读取Sheet表     注意:这里的表名称'Sheet'的大小写,也不能错.

如果在调试代码学习的过程中,发现错误,一定首先对照课程,自查一下代码,是否完全一致,特别特别是大小写,以及标点符号是否英文格式.

发现啥模块也不用,直接**一句代码**:

### data=pd.read\_excel('readexec.xlsx',sheet\_name='Sheet') ###

可以读取excel文件.

实践,一行代码和两行代码,这两种读取方式没感觉到什么差别.难道是环肥燕瘦凭喜好?.请教朋友指教.  
  
(上一节数据分析(三)Pandas数据结构基础2.DataFrame:[https://blog.csdn.net/ahmcwt/article/details/104630629][https_blog.csdn.net_ahmcwt_article_details_104630629]

下一节pandas进阶:[https://blog.csdn.net/ahmcwt/article/details/104658976][https_blog.csdn.net_ahmcwt_article_details_104658976])

[20200304071022891.png]: https://img-blog.csdnimg.cn/20200304071022891.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200304072244220.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200304074601314.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200304083351137.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200304084218170.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2020030408452815.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200304093623748.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200304111103200.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[20200304122354353.png]: https://img-blog.csdnimg.cn/20200304122354353.png
[20200304123115521.png]: https://img-blog.csdnimg.cn/20200304123115521.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200304134448658.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FobWN3dA==,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_ahmcwt_article_details_104509698]: https://blog.csdn.net/ahmcwt/article/details/104509698
[https_blog.csdn.net_ahmcwt_article_details_104630629]: https://blog.csdn.net/ahmcwt/article/details/104630629
[https_blog.csdn.net_ahmcwt_article_details_104658976]: https://blog.csdn.net/ahmcwt/article/details/104658976