文件读取与存储

小鱼儿 2023-06-03 02:48 1阅读 0赞

pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。  
![1552472-20190908214524536-1291410531.png][]

**CSV**

*  pandas.read\_csv(filepath\_or\_buffer, sep =',' )
    
     *  filepath\_or\_buffer:文件路径
     *  usecols:指定读取的列名，列表形式
     *  sep-分割字符 默认','

# 读取文件,并且指定只获取'open', 'close'指标 data = pd.read_csv("./data/stock_day.csv", usecols=['open', 'close'])

*  to\_csv
    
     *  DataFrame.to\_csv(path\_or\_buf=None, sep=', ’, columns=None, header=True, index=True, mode='w', encoding=None)
        
         *  path\_or\_buf :string or file handle, default None
         *  sep :character, default ‘,’
         *  columns :sequence, optional
         *  mode:'w'：重写, 'a' 追加
         *  index:是否写进行索引
         *  header :boolean or list of string, default True,是否写进列索引值

--------------------

**HDF5**

HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame

从h5文件当中读取数据

*  pandas.read\_hdf(path\_or\_buf，key =None，\*\* kwargs)
    
     *  path\_or\_buffer:文件路径
     *  key:读取的键
     *  return:Theselected object
 *  DataFrame.to\_hdf(path\_or\_buf, key, *\\kwargs*)
    
     *  key:指定保存的键名

--------------------

**JSON**

*  read\_json—读取文件
    
     *  orient--指定读取数据的字典格式
     *  records—一行一个记录\{列名:值,\}
     *  lines—是否分行--一个记录一行
 *  DataFrame.to\_json(path\_or\_buf=None, orient=None, lines=False)
    
     *  将Pandas 对象存储为json格式
     *  path\_or\_buf=None：文件地址
     *  orient:存储的json形式，\{‘split’,’records’,’index’,’columns’,’values’\}
     *  lines:一个对象存储为一行
 *  to\_json--存储文件—注意:lines=True

--------------------

**优先选择使用HDF5文件存储**

*  HDF5在存储的时候支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的
 *  使用压缩可以提磁盘利用率，节省空间
 *  HDF5还是跨平台的，可以轻松迁移到hadoop 上面

转载于:https://www.cnblogs.com/oklizz/p/11488677.html

[1552472-20190908214524536-1291410531.png]: /images/20230601/9e193e53f1804142a7a79524ea807996.png