Pandas玩转数据

清疚 2022-03-22 08:56 367阅读 0赞

# Pandas玩转数据 #

## 一、排序功能 ##

### 0x1 Series的排序 ###

s1 = Series(np.random.randn(10))  
    s2 = s1.sort_values(ascending=False)  # 按照值降序排列
    s2.sort_index()    # 按照索引升序排列

### 0x2 Dataframe的排序 ###

`df1 = DataFrame(np.random.randn(40).reshape(8,5), columns=['A','B','C','D','E'])`  
![20190127103003.png][]

df1['A'].sort_values()      # 升序排列A列，返回一个Series
    f2 = df1.sort_values('A')   # 按照A列顺序排列，返回一个Dataframe 
    df2.sort_index()            # 按照索引排列

## 二、Index重命名 ##

`df1 = DataFrame(np.arange(9).reshape(3,3), index=['BJ','SH','GZ'], columns=['A','B','C'])`  
![20190127103930.png][]

df1.index = Series(['bj','sh','gz'])  # 通过series重命名
    df1.index = df1.index.map(str.upper)  # 通过map函数重命名
    df1.rename(index=str.lower, columns=str.lower)  # 返回一个新Dataframe
    df1.rename(index={'BJ': 'beijing'}, columns={"A":'a'})  # 通过字典重命名

**写自己的Map函数**

def test_map(x):
        return x + '_ABC'
        
    df1.index.map(test_map)     # 调用函数重命名
    df1.rename(index=test_map)

## 三、Merge操作 ##

df1 = DataFrame({'key':['X','Y','Z','X'], 'data_set_1':[1,2,3,4]})
    df2 = DataFrame({'key':['X','B','C'], 'data_set_2':[4,5,6]})

![20190127105802.png][]  
![20190127105811.png][]

pd.merge(df1,df2)
    pd.merge(df1,df2,on=None)

**on参数**可以指定merge的列名，没有on参数意思为on=None

**dataframe的merge是按照两个dataframe共有的column进行连接，两个dataframe必须具有同名的column。 如果两个dataframe的column都不相同，则会在merge的时候报错。**  
![20190127105916.png][]

而当两个dataframe具有相同的column时，若两个column中没有相同的value，则会merge一个空的dataframe。  
![20190127110313.png][]

**how参数**用于指定merge时的操作。

`pd.merge(df1,df2, on='key',how='inner')`  
![20190127110600.png][]

> 指定how=left，就是让df1保留所有的行列数据，df2根据df1的行列进行补全。同理，right也可以指定。outer就是how指定为left和right的结果的集合

pd.merge(df1, df2, on='key', how='left')
    pd.merge(df1,df2, on='key', how='right')
    pd.merge(df1,df2, on='key', how='outer')

![20190127111441.png][]

## 四、Concatenate和Combine操作 ##

### 0x1 Concatenate 连接 ###

Series中矩阵（array）的连接  
![20190127113210.png][]  
最终形成一个新的矩阵，大小为3列6行。其实就是将arr2连接到了arr1的下面。  
**更改连接方式**  
其中有一个参数：axis，默认为0，表示按列连接（增加行数），即将第二个矩阵的列依次连接到第一个矩阵的列的下面。如果axis=1，表示按行连接（增加列数）。  
![20190127113256.png][]

Series的连接  
![20190127113442.png][]

注意，这里使用的是pandas的方法concat，因为上边使用的numpy的concatenate方法不能讲index进行连接，只能连接values,如下：

![20190127113716.png][]

**更改连接方式**  
同样的，也有一个axis的参数，默认为0。当指定axis=1时，将增加列，即将形成一个dataframe，没有的值将会填充为NaN  
![20190127114727.png][]

**Dataframe的连接**  
![20190127114836.png][]

> 没有值的地方将会填充为NaN

### 0x2 Combine 填充，补充 ###

![20190127155621.png][]

> 从结果可看出，s1用s2中的值填充了其中对应为NaN的值。

![20190127155718.png][]

[20190127103003.png]: /images/20220322/5ae543cbff16419284d1ef501c1e0735.png
[20190127103930.png]: /images/20220322/554eb7aff9904f09ac417ebfa5e2b49c.png
[20190127105802.png]: /images/20220322/89e18dba59d74e1395643ff0cef3d4a5.png
[20190127105811.png]: /images/20220322/b6d57014444f4890b1837a2abb04e0ee.png
[20190127105916.png]: /images/20220322/15ec82e068364cea87e7f1796d1ea27e.png
[20190127110313.png]: /images/20220322/1c5827a9d8584258a307bbcdabebce32.png
[20190127110600.png]: /images/20220322/f27aea942425419f97bfdcbe139dd8fa.png
[20190127111441.png]: /images/20220322/90afc8d086674695a6dd8ac11f56a381.png
[20190127113210.png]: /images/20220322/b553b3d2a8394a8c96968267be32b69d.png
[20190127113256.png]: /images/20220322/f944b5f434a6416da2e9bc2ff60c55ed.png
[20190127113442.png]: /images/20220322/7082967cd96c44908cd5d2169cdb4cfb.png
[20190127113716.png]: /images/20220322/0f6042ef9d3347ddb77c6f9e0504d6fe.png
[20190127114727.png]: /images/20220322/cac8ff8f9739431482e6828637abb4e4.png
[20190127114836.png]: /images/20220322/720773835e74445db293a6c21239a75b.png
[20190127155621.png]: /images/20220322/0b8100f7decf4a5e90af07330dc145b4.png
[20190127155718.png]: /images/20220322/614e32217f0044988b6235a33bfb0a7a.png