python利用numpy存取文件

ゞ浴缸里的玫瑰 2023-01-02 06:23 156阅读 0赞

**NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。**

***numpy格式的文件可以保存为后缀为（.npy/.npz）格式的文件***

**1. tofile()和fromfile()**

*  tofile()将数组中的数据以二进制格式写进文件
 *  tofile()输出的数据不保存数组形状和元素类型等信息
 *  fromfile()函数读回数据时需要用户指定元素类型，并对数组的形状进行适当的修改

1.  `import numpy as np`
2.  
3.  `# 随机生成12个数字并将其有一维转换成3*4的矩阵形式`
4.  `a = np.arange(12)`
5.  `print("一维数组:",a)`
6.  `a.shape = 3,4`
7.  `print("3*4的矩阵:",a)`
8.  
9.  `# 将数组中的数据以二进制格式写入到文件`
10. `a.tofile('a.bin')`
11. `# fromfile在读取numpy文件时需要自己指定数据格式,并且原格式并为保存`
12. `b1 = np.fromfile('a.bin', dtype=np.float) # 按照float读取数据`
13. `b2 = np.fromfile('a.bin', dtype=np.int) # 按照int读取数据`
14. `b3 = np.fromfile('a.bin', dtype=np.int32) # 按照int32读取数据`
15. `print('float格式b1:{},\nint格式b2:{},\nint32格式b3:{}'.format(b1,b2,b3))`
16. 
17. `b3.shape = 3,4`
18. `print('b3:',b3)`

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTEyMTMyNQ_size_16_color_FFFFFF_t_70][]

**2. save() 和 load(),savez()**

*  NumPy专用的二进制格式保存数据，它们会自动处理元素类型和形状等信息
 *  如果想将多个数组保存到一个文件中，可以使用savez()
 *  savez()的第一个参数是文件名，其后的参数都是需要保存的数组，也可以使用关键字参数为数组起名
 *  非关键字参数传递的数组会自动起名为arr\_0、arr\_1、...。
 *  savez()输出的是一个扩展名为npz的压缩文件，其中每个文件都是一个save()保存的npy文件，文件名和数组名相同
 *  load()自动识别npz文件，并且返回一个类似于字典的对象，可以通过数组名作为键获取数组的内容

1.  `import numpy as np`
2.  
3.  `a = np.arange(12)`
4.  `a.shape = 3,4`
5.  `# 将数据存储为npy/npz`
6.  `np.save('a.npy', a)`
7.  `np.save('a.npz', a)`
8.  `c = np.load('a.npy')`
9.  `print('save-load：',c)`
10. 
11. `# 存储多个数组`
12. `b1 = np.array([[6, 66, 666],[888, 88,8]])`
13. `b2 = np.arange(0, 1.0, 0.1)`
14. `c2 = np.sin(b2)`
15. `np.savez('result.npz', b1,b2,sin_arry = c)`
16. `c3 = np.load('result.npz') # npz文件时一个压缩文件`
17. `print(c3)`
18. `print("数组b1:{}\n数组b2：{}\n数组sin_arry:{}".format(c3['arr_0'],c3['arr_1'],c3['sin_arry']))`

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTEyMTMyNQ_size_16_color_FFFFFF_t_70 1][]

**3. savetxt() 和 loadtxt()**

*  读写1维和2维数组的文本文件
 *  可以用它们读写CSV格式的文本文件

**用这种方式来对数据进行存储，方便深度学习中, 保存了训练集,验证集,测试集,还包括他们的标签,用这个方式存储起来,要啥加载啥,文件数量大大减少,也不会到处改文件名。算是get到了另外一种好的存储数据的方式**

**参考：**[https://www.cnblogs.com/wushaogui/p/9142019.html][https_www.cnblogs.com_wushaogui_p_9142019.html]

[https://www.cnblogs.com/dmir/p/5009075.html][https_www.cnblogs.com_dmir_p_5009075.html]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTEyMTMyNQ_size_16_color_FFFFFF_t_70]: /images/20221120/f6f0ad97d81646fb884c700df5386020.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTEyMTMyNQ_size_16_color_FFFFFF_t_70 1]: /images/20221120/d1bea49c50934ebfac914c6c17b958a2.png
[https_www.cnblogs.com_wushaogui_p_9142019.html]: https://www.cnblogs.com/wushaogui/p/9142019.html
[https_www.cnblogs.com_dmir_p_5009075.html]: https://www.cnblogs.com/dmir/p/5009075.html