Apply函数进行数据预处理

墨蓝 2022-03-22 09:12 316阅读 0赞

Apply函数进行数据预处理

测试数据集:
包含两列:时间戳和字符串,大小为近8000行
20190127161901.png

在df中添加一列,使其全部都是a
20190127162026.png

将A列改的值为大写

  1. df['A'] = df['A'].apply(str.upper)

使用apply进行预处理
将data数据拆分为三列

Apply接收一个函数作为参数,apply将会把指定列中的每一个值送给函数参数进行处理。

根据观察,data列的值其实是三个部分组成:
Symbol、Seqno、Price。
现在想把这一列变成三列。
就单个一个data的数据来说,可以用split方法进行拆分:

  1. l1 = df['data'][0].strip().split(' ')
  2. l1[1], l1[3],l1[5]
  3. >>>('APPL', '0', '1623')

定义一个用于处理所有数据的函数:

  1. def foo(line):
  2. items = line.strip().split(' ')
  3. return Series([items[1], items[3], items[5]])
  4. df_tmp = df['data'].apply(foo) # 调用foo函数
  5. df_tmp = df_tmp.rename(columns={0:"Symbol", 1:"Seqno", 2:"Price"}) # 给新的一行重命名

20190127162638.png

  1. df_new = df.combine_first(df_tmp) # 将新表和原表链接

删除多余的列并将文件写出csv:
20190127162903.png

发表评论

表情:
评论列表 (有 0 条评论,316人围观)

还没有评论,来说两句吧...

相关阅读

    相关 Python apply函数

    Python apply函数 1、介绍 apply函数是pandas里面所有函数中自由度最高的函数。该函数如下: DataFrame.apply(func,