在Python中载入大量图片型数据集，与matlab结合使用时，如何解决RAM的占用爆炸性增长的问题

女爷i 2024-03-16 10:00 6阅读 0赞

![54ab8e630c6846d2926b457ea0252b64.bmp][]在Python中载入大量图片时，由于每张图片都会被转换成Numpy数组并存储在内存中，因此可能会导致RAM的占用爆炸性增长。为了减少RAM的使用，可以考虑采用以下方法：

Python和Matlab结合使用。首先，可以使用Python的Pillow库来调整图像的大小和质量，并转换为所需的格式（例如JPEG或PNG）。这样可以减少图像大小并降低图像质量，从而降低图像在内存中的占用量。

Python和Matlab结合使用。另一种方法是在读取图像时批量读取，而不是使用单个图像来读取。这可以通过使用Python的批量读取函数（如os.scandir和glob.glob）来实现。这些函数将一次读取多个图像，可以减少RAM的使用。

Python和Matlab结合使用使用Python的异步IO模块asyncio，可以在进程载入图片的同时处理其他任务，从而减少内存消耗。

对于网上的公开数据集，一些流行的处理方法包括压缩图像、裁剪图像、降低图像的分辨率、使用数据增强技术等等。这些方法都是为了减少图像在内存中的占用量，同时保持图像的质量和可用性。在实际处理过程中，应根据具体情况选择最适合的处理方法，以保证数据的正确性和可靠性。

以下是几种流行的处理方法：

Python和Matlab结合使用数据压缩：这种方法可以将数据集中的图像压缩为较小的文件，从而减少内存占用。常见的格式包括JPEG，PNG，BMP等。使用Python的Pillow库可以很容易地执行此操作。

Python和Matlab结合使用图像裁剪：一些大型数据集经常包含很多冗余的部分，这些部分可以被裁剪掉，以减小内存使用。例如，当处理MNIST数据集时，可以通过裁剪掉边角部分，来减小每张图像的大小。

Python和Matlab结合使用图像缩放：对于大型图像，可以将它们缩小到适当的大小。缩小图像大小可以减少内存使用并加快处理速度。在Python中，可以使用Pillow库中的resize()函数来执行此操作。

Python和Matlab结合使用数据增强：数据增强是通过在数据集中进行变换来生成更多的样本，从而增加数据集的大小。例如，在图像分类中，可以裁剪、旋转、平移或更改颜色通道以生成多个变体。这一方法可以增加样本大小，提高算法的鲁棒性。常见的Python库包括imgaug和albumentations。

Python和Matlab结合使用数据类型转换：有些数据集中的图像格式可能不同，因此在读取时应将它们转换为相同类型。例如，ImageNet数据集中的图像为JPEG格式，而CIFAR-10数据集中的图像为numpy数组。在Python中，可以使用Pillow库来转换图像格式，使用numpy库来转换numpy数组。

下面分别举例详细说明

Python和Matlab结合使用数据压缩：将数据集中的图像压缩为文件，以减少内存占用。常见的格式包括JPEG，PNG，BMP等。使用Python的Pillow库可以很容易地执行此操作。

举例说明：

\`\`\`python

from PIL import Image

import glob

\# 读取文件夹中的JPEG格式图片

filenames = glob.glob("data/\*.jpg")

for filename in filenames:

with Image.open(filename) as img:

\# 将图像压缩为80%的质量

quality = 80

img.save("compressed/"+filename.split("/")\[-1\], "JPEG", quality=quality)

\`\`\`

在上面的代码中，我们使用glob模块来获取“data”文件夹中所有的JPEG图像，然后使用Image.open()函数将图片读取为PIL图像对象。接着，我们使用img.save()函数将PIL对象压缩为80%的质量，并将其保存为JPEG格式。最后，我们将压缩后的图像保存到“compressed”文件夹中。

Python和Matlab结合使用图像裁剪：一些大型数据集经常包含很多冗余的部分，这些部分可以被裁剪掉，以减小内存使用。例如，当处理MNIST数据集时，可以通过裁剪边角部分，来减小每张图像的大小。

举例说明：

\`\`\`python

from PIL import Image

import glob

\# 读取文件夹中的PNG格式图片

filenames = glob.glob("data/\*.png")

for filename in filenames:

with Image.open(filename) as img:

\# 将图像裁剪为中心区域

crop\_size = (100, 100)

width, height = img.size

left = (width - crop\_size\[0\])/2

top = (height - crop\_size\[1\])/2

right = (width + crop\_size\[0\])/2

bottom = (height + crop\_size\[1\])/2

img = img.crop((left, top, right, bottom))

\# 保存裁剪后的图像

img.save("cropped/"+filename.split("/")\[-1\], "PNG")

\`\`\`

在上面的代码中，我们使用glob模块来获取“data”文件夹中所有的PNG图像，然后使用Image.open()函数将图像读取为PIL图像对象。接着，我们使用PIL的crop()方法将图像裁剪为中心区域，然后将其保存为PNG格式，并将其保存到“cropped”文件夹中。

举例说明：

\`\`\`python

from PIL import Image

import glob

\# 读取文件夹中的JPEG格式图片

filenames = glob.glob("data/\*.jpg")

for filename in filenames:

with Image.open(filename) as img:

\# 将图像调整为最大长或宽不超过500像素

max\_size = 500

width, height = img.size

if width > height:

new\_width = max\_size

new\_height = int((max\_size / width) \* height)

else:

new\_height = max\_size

new\_width = int((max\_size / height) \* width)

img = img.resize((new\_width, new\_height))

\# 保存调整后的图像

img.save("resized/"+filename.split("/")\[-1\], "JPEG")

\`\`\`

在上面的代码中，我们使用glob模块来获取“data”文件夹中所有的JPEG图像，然后使用Image.open()函数将图像读取为PIL图像对象。接着，我们使用PIL的resize()方法将图像缩放为最大长或宽不超过500像素，并将其保存为JPEG格式，并将其保存到“resized”文件夹中。

举例说明：

\`\`\`python

import imgaug.augmenters as iaa

import numpy as np

import random

import cv2

import os

image\_dir = "data/images"

output\_dir = "augmented"

\# 图像增强器

seq = iaa.Sequential(\[

iaa.Fliplr(0.5), \# 随机水平翻转

iaa.Crop(percent=(0, 0.1)), \# 随机剪切

iaa.GaussianBlur((0, 3.0)), \# 高斯模糊

iaa.Affine(

scale=\{"x": (0.8, 1.2), "y": (0.8, 1.2)\}, \# 随机缩放

translate\_percent=\{"x": (-0.2, 0.2), "y": (-0.2, 0.2)\}, \# 随机平移

rotate=(-45, 45), \# 随机旋转

shear=(-16, 16), \# 随机切变

mode=cv2.BORDER\_CONSTANT \# 图像填充模式

)

\], random\_order=True)

\# 读取图像文件

image\_files = os.listdir(image\_dir)

for i, filename in enumerate(image\_files):

\# 读取图像并进行增强

path = os.path.join(image\_dir, filename)

img = cv2.imread(path, cv2.IMREAD\_COLOR)

img\_aug = seq.augment\_image(img)

\# 保存增强后的图像

output\_path = os.path.join(output\_dir, f"\{i\}\_\{filename\}")

cv2.imwrite(output\_path, img\_aug)

\`\`\`

在上述代码中，我们使用了imgaug库中的Sequential类来定义了一组数据增强器。在每次处理图像时，随机选择其中的一个或多个增强器对图像进行变换。例如，Fliplr()方法用于随机水平翻转图像，Crop()方法随机剪切图像等等。

举例说明：

\`\`\`python

from PIL import Image

import numpy as np

import glob

\# 读取文件夹中的JPEG格式图片

filenames = glob.glob("data/\*.jpg")

for filename in filenames:

\# 将JPEG格式图像转换为numpy数组

with Image.open(filename) as img:

img\_arr = np.array(img)

\# 将numpy数组转换为PNG格式图像

png\_img = Image.fromarray(img\_arr.astype('uint8'))

png\_img.save("converted/"+filename.split("/")\[-1\], "PNG")

\`\`\`

在上述代码中，我们使用glob模块来获取“data”文件夹中所有的JPEG图像，然后使用Image.open()函数将图像读取为PIL图像对象。接着，我们使用numpy的array()函数将PIL图像对象转换为numpy数组。最后，我们使用PIL的fromarray()函数将numpy数组转换为PNG格式的图像，并将其保存到“converted”文件夹中。

值得注意的是，在数据类型转换的过程中，可能需要进行归一化或重新调整图像的大小和分辨率，以适应算法的要求。例如，在图像分类中，如果算法需要输入224x224的图像尺寸，则需要在转换图像格式的同时，将其调整为指定的尺寸。

举例说明：

\`\`\`python

from PIL import Image

import numpy as np

import glob

\# 读取文件夹中的JPEG格式图片

filenames = glob.glob("data/\*.jpg")

for i, filename in enumerate(filenames):

\# 将JPEG格式图像转换为numpy数组并归一化

with Image.open(filename) as img:

img\_arr = np.array(img.resize((224, 224)))

img\_arr = img\_arr.astype('float32') / 255.0

\# 增加一个维度作为batch大小

img\_arr = np.expand\_dims(img\_arr, axis=0)

\# 运行模型

preds = model.predict(img\_arr)

\# 打印结果

print(f"\{i+1\}. \{filename\} - \{np.argmax(preds)\}")

\`\`\`

在这个例子中，我们首先使用Image.open()函数将图像读取为PIL图像对象，并将其调整为224x224的大小。然后，我们使用numpy的array()函数将PIL图像对象转换为numpy数组。接着，我们进行归一化并批量处理图像，然后将它们输入到预测模型中得到预测结果。最后，我们打印预测结果，并简单解释每个预测结果的含义。

除了上述方法外，还有许多其他处理方法可以用于处理数据集。例如，在处理文本数据时，可以使用自然语言处理技术来进行分词、去除停用词或进行词干提取。在处理时间序列数据时，可以使用滑动窗口方法来生成训练样本。

总之，数据处理是机器学习中十分重要的一环，它涉及数据的获取、清洗、预处理和转换等多个方面。正确地处理数据可以提高机器学习模型的性能并减少错误率，进而改善数据分析结果以及之后的业务决策等方面的结果。

Python和Matlab是两个在科学计算和数据处理方面非常流行的编程语言。Python是一种通用编程语言，而Matlab专注于数学和科学计算。两者可以结合使用，发挥各自的优势，开展各种各样的项目。以下是20个最常用的Python和Matlab联合使用的项目：

1.  Python和Matlab结合使用，做数值模拟和分析
2.  Python和Matlab结合使用，做信号处理和滤波
3.  Python和Matlab结合使用，做数据可视化和图像处理
4.  Python和Matlab结合使用，做机器学习和模式识别
5.  Python和Matlab结合使用，做人工智能和深度学习
6.  Python和Matlab结合使用，做数学优化和最优化控制
7.  Python和Matlab结合使用，做工程设计和控制系统
8.  Python和Matlab结合使用，做机器视觉和计算机视觉
9.  Python和Matlab结合使用，做在线数据采集和传输
10. Python和Matlab结合使用，做大数据分析和处理
11. Python和Matlab结合使用，做统计分析和模型建立
12. Python和Matlab结合使用，做资源调度和优化
13. Python和Matlab结合使用，做无线通信和网络优化
14. Python和Matlab结合使用，做自然语言处理和文字挖掘
15. Python和Matlab结合使用，做图像识别和特征提取
16. Python和Matlab结合使用，做语音识别和声音处理
17. Python和Matlab结合使用，做交通流量优化和预测
18. Python和Matlab结合使用，做医学图像处理和诊断辅助
19. Python和Matlab结合使用，做模型验证和可靠性测试
20. Python和Matlab结合使用，做风险评估和预报分析

Chatgpt和Matlab的结合可以应用于各种各样的项目，这是因为Chatbots能够对自然语言进行处理，而MATLAB则可以用于分析和处理各种数据。以下是20个常见的Chatbots和Matlab结合使用的项目：

1.chatgpt和Matlab结合使用，做 机器人控制

2.chatgpt和Matlab结合使用，做 在线客服和帮助台

3.chatgpt和Matlab结合使用，做 健康诊断和治疗方案推荐

4.chatgpt和Matlab结合使用，做 工程设计和优化

5.chatgpt和Matlab结合使用，做 财务分析和预测

6.chatgpt和Matlab结合使用，做 计算机视觉和图像处理

7.chatgpt和Matlab结合使用，做 自然语言处理和信息提取

8.chatgpt和Matlab结合使用，做 风险评估和预报分析

9.chatgpt和Matlab结合使用，做 环境监测和预警

10.chatgpt和Matlab结合使用，做 天气预报和气象学

11.chatgpt和Matlab结合使用，做 人工智能和深度学习