paddlehub如何制作自定义数据集

向右看齐 2022-11-10 14:20 373阅读 0赞

# **CV****类任务如何自定义数据** #

利用PaddleHub迁移CV类任务使用自定义数据时，用户需要自己切分数据集，将数据集且分为训练集、验证集和测试集。

数据准备

需要三个文本文件来记录对应的图片路径和标签，此外还需要一个标签文件用于记录标签的名称。

├─data: 数据目录

├─train\_list.txt：训练集数据列表

├─test\_list.txt：测试集数据列表

├─validate\_list.txt：验证集数据列表

├─label\_list.txt：标签列表

└─……

训练/验证/测试集的数据列表文件的格式如下，列与列之间以空格键分隔。

图片1路径 图片1标签

图片2路径 图片2标签

...

label\_list.txt的格式如下

分类1名称

分类2名称

...

示例： 以[DogCat数据集][DogCat]为示例，train\_list.txt/test\_list.txt/validate\_list.txt内容如下示例

cat/3270.jpg 0

cat/646.jpg 0

dog/12488.jpg 1

label\_list.txt内容如下：

cat

dog

自定义数据加载

加载图像类自定义数据集，用户仅需要继承基类BaseCVDatast，修改数据集存放地址即可。具体使用如下：

**NOTE:**

*  数据集文件编码格式建议为utf8格式。
 *  dataset\_dir为数据集实际路径，需要填写全路径，以下示例以/test/data为例。
 *  训练/验证/测试集的数据列表文件中的图片路径需要相对于dataset\_dir的相对路径，例如图片的实际位置为/test/data/dog/dog1.jpg。base\_path为/test/data，则文件中填写的路径应该为dog/dog1.jpg。
 *  如果您还有预测数据（没有文本类别），可以将预测数据存放在predict\_list.txt文件，文件格式和train\_list.txt类似。去掉label一列即可
 *  如果您的数据集类别较少，可以不用定义label\_list.txt，可以选择定义label\_list=\["数据集所有类别"\]。

from paddlehub.dataset.base\_cv\_dataset import BaseCVDataset

class DemoDataset(BaseCVDataset):

def \_\_init\_\_(self):

\# 数据集存放位置

self.dataset\_dir = "/test/data"

super(DemoDataset, self).\_\_init\_\_(

base\_path=self.dataset\_dir,

train\_list\_file="train\_list.txt",

validate\_list\_file="validate\_list.txt",

test\_list\_file="test\_list.txt",

predict\_file="predict\_list.txt",

label\_list\_file="label\_list.txt",

\# label\_list=\["数据集所有类别"\]

)

dataset = DemoDataset()

**以青春有你的项目任务为例：**

一、任务简介

图像分类是计算机视觉的重要领域，它的目标是将图像分类到预定义的标签。近期，许多研究者提出很多不同种类的神经网络，并且极大的提升了分类算法的性能。本文以自己创建的数据集：青春有你2中选手识别为例子，介绍如何使用PaddleHub进行图像分类任务。

\#CPU环境启动请务必执行该指令

%set\_env CPU\_NUM=1

\#安装paddlehub

!pip install paddlehub==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

**二、任务实践**

**Step1****、基础工作**

加载数据文件

导入python包

\# !unzip -o data.zip -d ./dataset/data.zip

!unzip -o /home/aistudio/dataset/data.zip

import paddlehub as hub

![20210318194643654.png][]

![20210318194643506.png][]

**Step2****、加载预训练模型**

接下来我们要在PaddleHub中选择合适的预训练模型来Finetune，由于是图像分类任务，因此我们使用经典的ResNet-50作为预训练模型。PaddleHub提供了丰富的图像分类预训练模型，包括了最新的神经网络架构搜索类的PNASNet，我们推荐您尝试不同的预训练模型来获得更好的性能。

module = hub.Module(name="mobilenet\_v3\_large\_imagenet\_ssld")

**Step3****、数据准备**

接着需要加载图片数据集。我们使用自定义的数据进行体验，请查看适配自定义数据