一篇文章带你使用 pandas 处理 csv 文件

雨点打透心脏的1/2处 2022-12-13 04:44 153阅读 0赞

### 文章目录 ###

*   *  一、我的需求
     *  二、代码
     *  三、总结

## 一、我的需求 ##

对于这样的一个 csv 表，需要将其  
（1）将营业部名称和日期和股票代码进行拼接  
（2）对于除了买入金额不同的的数据需要将它们的买入金额相加，每个买入金额乘以买卖序号的符号表示该营业名称对应的买入金额

比如：xx公司，20190731,1，股票1,4000，C20201010，xxxx  
我这里想要的结果是：xx公司2019713C20201010,4000

![在这里插入图片描述][20201010141309904.png_pic_center]

## 二、代码 ##

（1）首先由于文件是 gbk，所以读取是需要注意 encoding  
（2）日期是int类型，所以需要转化为 字符串

import pandas as pd
    import numpy as np
    
    #读取数据
    filename = "test.csv"
    # 读取 excel 表，根据文件的编码指定编码方式
    data = pd.read_csv(filename, encoding='gbk')
    # 将所有内容转为字符串
    # data = data.applymap(str)
    # 将日期这一列转为字符串
    data['日期'] = data['日期'].apply(str)
    
    # print(data.loc[0,'营业部名称'])
    # print(data.loc[0,'日期'])
    # print(data.loc[0,'股票代码'])
    # print(data.loc[0,'买卖序号'])
    # print(data.loc[0,'买入金额'])
    
    # 拼接：营业部名称+日期+股票代码
    data['name_date_code'] = data['营业部名称'] + data['日期'] + data['股票代码']
    # 取"买卖序号"的符号和买入金额相乘
    # np.sign 获取序号对应的符号
    data['buy'] = np.sign(data['买卖序号']) * data['买入金额']
    data = data.drop(['营业部名称', '日期', '买卖序号', '股票名', '买入金额', '股票代码', 'data_stock'], axis=1)
    
    # 将 name_date_code 相同的行，金额相加
    buy_sum = data.groupby('name_date_code')['buy'].sum()
    # 将相加的金额加入数据data，缺失数据用0填充
    data['buy_sum'] = data.loc[:, 'name_date_code'].map(buy_sum).fillna(0)
    # 将买入金额删掉，只剩下两列数据
    data = data.drop(['buy'], axis=1)
    # 删除重复行
    data = data.drop_duplicates()
    # 写入数据，同样需要注意指定编码格式
    data.to_csv("YYBD_result.csv", encoding='gbk',index=False)

## 三、总结 ##

（1）编码格式，正常是 utf-8 的不用指定，用默认的即可

（2）pandas 读取一行数据

# data.iloc 取一整行
    print(data.iloc[0])

（3）pandas 处理数据确实很厉害，字符串拼接，类型转换，删除重复行，真方便

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmh1YWliZWlhbg_size_16_color_FFFFFF_t_70_pic_center]

[20201010141309904.png_pic_center]: /images/20221123/74080218e8e344988b84f6b68aec9f62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmh1YWliZWlhbg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/413b084993c040b181a2939827572b04.png