pandas中的read_csv()中的用于批量读取数据的参数以及如何修改字段内容并写入一csv文件中

不念不忘少年蓝@ 2022-03-17 04:44 282阅读 0赞

**1. iterator=True(配合get\_chunk方法一块使用)**

import pandas as pd
    
    df = pd.read_csv("D:\data.csv", encoding="utf-8", error_bad_lines=False, iterator=True)  
     # iterator=True参数配合get_chunk()批量读取数据
    print(type(df))  #  此时df对象的类型TextFileReader
     
    chunk = df.get_chunk(10)  #获取前10条数据 
    chunk = df.get_chunk(10)  #获取11-20条数据

注意 : get\_chunk()方法一般查看数据时使用！

所以如果想要读取全部数据并修改的话，我们可以这样增加chunksize属性：

import pandas as pd
    df = pd.read_csv("D:\data.csv", encoding="utf-8",
                     error_bad_lines=False, chunksize=5000, iterator=True)
    ''' chunksize=5000含义为每次往内存中读入5000条数据进行操作，直到读完为止，
        假如data.csv中有100000条数据，那么会读取20次，这样可以大大节约内存，如
        何data.csv中数据太大的话，直接将所有数据读取的话会占用很大的内存 '''
    # print(type(df))  #此时df对象的类型 DataFrame
    flag = 1
    for chunk in df:
    ''' 此处可以写入对data.csv中数据一行一行执行各种操作的代码
    	数据就会从头到尾执行完毕为止
        举例:
        chunk[u'pub_year'] = chunk[u'pub_year'].astype(str) #对data.csv中pub_year字段进行修改
        chunk[u'pub_year'] = chunk[u['pub_year'].apply(lambda x: res(x))] 
        def res(x):
            pass #此处写入对字段的具体内容进行修改的代码
            return x'''
        if flag == 1:
            chunk.to_csv('data_new.csv', mode='a', index=None, header=True)
            ''' 写入一个名为data_new.csv中，注意：data_new.csv第一行应该为字段(属性)
               所以对一行我们需要加上header=True，其他行就不需要了 '''
            flag = 0
        else:
            chunk.to_csv('data_new.csv', mode='a', index=None, header=None)