python的pandas使用入门

曾经终败给现在 2022-05-11 08:36 163阅读 0赞

> 在处理语料的时候，由于之前的主要武器是java，而业务部门给的数据格式都是excel的，在用java处理的时候，尤为麻烦，还要用poi第三方jar。所幸python有pandas这个强大的库，所以必须要系统的看一下这个库的使用。

`pandas`是一个开源的，BSD许可的库，为Python编程语言提供高性能，易于使用的数据结构和数据分析工具。

### 1、使用pandas首先导入库 ###

import pandas as pd

一般都会取pd这个别名

### 2、Pandas 的数据类型 ###

Pandas 基于两种数据类型，`series` 和 `dataframe`。

*  `series` 是一种一维的数据类型，其中的每个元素都有各自的标签。如果你之前看过这个系列关于 Numpy 的推文，你可以把它当作一个由带标签的元素组成的 numpy 数组。标签可以是数字或者字符。
 *  `dataframe` 是一个二维的、表格型的数据结构。Pandas 的 dataframe 可以储存许多不同类型的数据，并且每个轴都有标签。你可以把它当作一个 series 的字典。

### 3、快速游览 ###

创建一个Series通过传递值的列表，让pandas创建一个默认的整数索引：

>>> s = pd.Series([1,3,5,np.nan,6,8])
    0    1.0
    1    3.0
    2    5.0
    3    NaN
    4    6.0
    5    8.0
    dtype: float64

DataFrame通过传递带有日期时间索引和标记列的NumPy数组来创建：

>>> dates = pd.date_range('20130101', periods=6)
    DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
                   '2013-01-05', '2013-01-06'],
                  dtype='datetime64[ns]', freq='D')
    
    >>> df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
                       A         B         C         D
    2013-01-01  1.760542  0.361010  0.624264 -0.362020
    2013-01-02  1.749560  0.394066 -0.072456  0.461712
    2013-01-03 -2.488895  0.101461 -0.576431  0.917139
    2013-01-04 -0.510432 -0.389276  0.067754  0.243213
    2013-01-05  0.008552 -0.353683 -0.291905  0.616999
    2013-01-06  1.941716 -2.419700  0.245745 -0.801059

DataFrame通过传递可以转换为类似Series的对象的dict来创建:

>>> df2 = pd.DataFrame({ 'A' : 1.,
                       'B' : pd.Timestamp('20130102'),
                       'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
                       'D' : np.array([3] * 4,dtype='int32'),
                       'E' : pd.Categorical(["test","train","test","train"]),
                       'F' : 'foo' })
         A          B    C  D      E    F
    0  1.0 2013-01-02  1.0  3   test  foo
    1  1.0 2013-01-02  1.0  3  train  foo
    2  1.0 2013-01-02  1.0  3   test  foo
    3  1.0 2013-01-02  1.0  3  train  foo

结果的列DataFrame具有不同的 dtypes。

>>> df2.dtypes
    A           float64
    B    datetime64[ns]
    C           float32
    D             int32
    E          category
    F            object
    dtype: object

### 4、数据查看 ###

还是之前的数据：

df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))

查看前3行数据：

>>> df.head(3)
                       A         B         C         D
    2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
    2013-01-02  1.212112 -0.173215  0.119209 -1.044236
    2013-01-03 -0.861849 -2.104569 -0.494929  1.071804

查看后5行数据：

>>> df.tail(5)
                       A         B         C         D
    2013-01-02  1.212112 -0.173215  0.119209 -1.044236
    2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
    2013-01-04  0.721555 -0.706771 -1.039575  0.271860
    2013-01-05 -0.424972  0.567020  0.276232 -1.087401
    2013-01-06 -0.673690  0.113648 -1.478427  0.524988

显示索引，列和基础NumPy数据：

>>> df.index
    DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
                   '2013-01-05', '2013-01-06'],
                  dtype='datetime64[ns]', freq='D')
    >>> df.columns
    Index(['A', 'B', 'C', 'D'], dtype='object')
    >>> df.values
    array([[ 0.4691, -0.2829, -1.5091, -1.1356],
           [ 1.2121, -0.1732,  0.1192, -1.0442],
           [-0.8618, -2.1046, -0.4949,  1.0718],
           [ 0.7216, -0.7068, -1.0396,  0.2719],
           [-0.425 ,  0.567 ,  0.2762, -1.0874],
           [-0.6737,  0.1136, -1.4784,  0.525 ]])

转置数据：

>>> df.T
       2013-01-01  2013-01-02  2013-01-03  2013-01-04  2013-01-05  2013-01-06
    A    0.469112    1.212112   -0.861849    0.721555   -0.424972   -0.673690
    B   -0.282863   -0.173215   -2.104569   -0.706771    0.567020    0.113648
    C   -1.509059    0.119209   -0.494929   -1.039575    0.276232   -1.478427
    D   -1.135632   -1.044236    1.071804    0.271860   -1.087401    0.524988

按轴排序：

>>> df.sort_index(axis=1, ascending=False)
                       D         C         B         A
    2013-01-01 -1.135632 -1.509059 -0.282863  0.469112
    2013-01-02 -1.044236  0.119209 -0.173215  1.212112
    2013-01-03  1.071804 -0.494929 -2.104569 -0.861849
    2013-01-04  0.271860 -1.039575 -0.706771  0.721555
    2013-01-05 -1.087401  0.276232  0.567020 -0.424972
    2013-01-06  0.524988 -1.478427  0.113648 -0.673690

按值排序：

>>> df.sort_values(by='B')
                       A         B         C         D
    2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
    2013-01-04  0.721555 -0.706771 -1.039575  0.271860
    2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
    2013-01-02  1.212112 -0.173215  0.119209 -1.044236
    2013-01-06 -0.673690  0.113648 -1.478427  0.524988
    2013-01-05 -0.424972  0.567020  0.276232 -1.087401

### 5、数据选择 ###

选择一个列，产生一个Series，相当于df.A：

>>> df['A']
    2013-01-01    0.469112
    2013-01-02    1.212112
    2013-01-03   -0.861849
    2013-01-04    0.721555
    2013-01-05   -0.424972
    2013-01-06   -0.673690
    Freq: D, Name: A, dtype: float64

选择via \[\]，将行切片:

>>> df[0:3]
                       A         B         C         D
    2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
    2013-01-02  1.212112 -0.173215  0.119209 -1.044236
    2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
    >>> df['20130102':'20130104']
                       A         B         C         D
    2013-01-02  1.212112 -0.173215  0.119209 -1.044236
    2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
    2013-01-04  0.721555 -0.706771 -1.039575  0.271860

#### 按标签选择 ####

使用标签获取横截面：

>>> df.loc[dates[0]]
    A    0.469112
    B   -0.282863
    C   -1.509059
    D   -1.135632
    Name: 2013-01-01 00:00:00, dtype: float64

按标签选择多轴：

>>> df.loc[:,['A','B']]
                       A         B
    2013-01-01  0.469112 -0.282863
    2013-01-02  1.212112 -0.173215
    2013-01-03 -0.861849 -2.104569
    2013-01-04  0.721555 -0.706771
    2013-01-05 -0.424972  0.567020
    2013-01-06 -0.673690  0.113648

显示标签切片，两个端点包括：

>>> df.loc['20130102':'20130104',['A','B']]
                       A         B
    2013-01-02  1.212112 -0.173215
    2013-01-03 -0.861849 -2.104569
    2013-01-04  0.721555 -0.706771

#### 按位置选择 ####

### 通过传递的整数的位置选择：
    >>> df.iloc[3]
    A    0.721555
    B   -0.706771
    C   -1.039575
    D    0.271860
    Name: 2013-01-04 00:00:00, dtype: float64
    
    ### 通过整数切片，类似于numpy / python：
    >>> df.iloc[3:5,0:2]
                       A         B
    2013-01-04  0.721555 -0.706771
    2013-01-05 -0.424972  0.567020
    
    ### 通过整数位置位置列表，类似于numpy / python样式：
    >>> df.iloc[[1,2,4],[0,2]]
                       A         C
    2013-01-02  1.212112  0.119209
    2013-01-03 -0.861849 -0.494929
    2013-01-05 -0.424972  0.276232
    
    ### 明确获取值：
    >>> df.iloc[1,1]
    -0.17321464905330858

### 获取excel的数据 ###

### 读取数据
    e = pd.read_excel(r"C:\Users\chenyang\Desktop\业绩预告\业绩预告\业绩预告.xlsx",sheetname=[1],encoding = 'gbk')

函数为：

pd.read_excel(io, sheetname=0,header=0,skiprows=None,index_col=None,names=None,
                    arse_cols=None,date_parser=None,na_values=None,thousands=None, 
                    convert_float=True,has_index_names=None,converters=None,dtype=None,
                    true_values=None,false_values=None,engine=None,squeeze=False,**kwds)

常用参数解析：

*  io ：excel 路径；
 *  sheetname：默认是sheetname为0，返回多表使用sheetname=\[0,1\]，若sheetname=None是返回全表 。注意：int/string返回的是dataframe，而none和list返回的是dict of dataframe。
 *  header ：指定作为列名的行，默认0，即取第一行，数据为列名行以下的数据；若数据不含列名，则设定 header = None；
 *  skiprows：省略指定行数的数据
 *  skip\_footer：省略从尾部数的行数据
 *  index\_col ：指定列为索引列，也可以使用 u’string’
 *  names：指定列的名字，传入一个list数据

导出excel数据到txt：

import numpy as np
    import pandas as pd
    
    ex = pd.read_excel(r"C:\Users\chenyang\Desktop\业绩预告\业绩预告\业绩预告.xlsx",sheetname=[1],encoding = 'gbk')
    # 用pd格式化
    data = np.array(ex[1])
    length = len(data[0])
    outfile = open(r'C:\Users\chenyang\Desktop\q.txt',mode='w')
    for x in data:
        for i in range(length):
            outfile.write("%s    " % x[i])
        outfile.write("\n")
    outfile.close()