PaddleClas模型训练/评估：数据准备

深藏阁楼爱情的钟 2022-10-05 15:42 210阅读 0赞

本文档介绍ImageNet1k和flowers102数据准备过程。

<table> 
 <thead> 
  <tr> 
   <th>数据集</th> 
   <th>训练集大小</th> 
   <th>测试集大小</th> 
   <th>类别数</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://www.robots.ox.ac.uk/~vgg/data/flowers/102/" rel="nofollow">flowers102</a></td> 
   <td>1k</td> 
   <td>6k</td> 
   <td>102</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.image-net.org/challenges/LSVRC/2012/" rel="nofollow">ImageNet1k</a></td> 
   <td>1.2M</td> 
   <td>50k</td> 
   <td>1000</td> 
  </tr> 
 </tbody> 
</table>

*  数据格式 按照如下结构组织数据，其中`train_list.txt`和`val_list.txt`的格式形如：

# 每一行采用"空格"分隔图像路径与标注
    
    # 下面是train_list.txt中的格式样例
    train/n01440764/n01440764_10026.JPEG 0
    ...
    
    # 下面是val_list.txt中的格式样例
    val/ILSVRC2012_val_00000001.JPEG 65
    ...

![20210609224740657.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWJpbmc4NjA5_size_16_color_FFFFFF_t_70][]

## Python ##

########################################################################################################################
    # Linux/OS X 系统下声明这是一个 Python 可执行程序; Windows 系统会忽略这个注释.
    # !/usr/bin/env python
    # 指定 Python 解释器按照 UTF-8 编码读取源代码, 否则源代码中的中文输出时可能会乱码.
    # -*- coding: utf-8 -*-
    
    
    ########################################################################################################################
    # 加入“绝对引入”新特性:
    # 这样就可用import string引入系统标准string.py, 而用from pkg import string来引入当前目录下的string.py.
    from __future__ import absolute_import, division, print_function, unicode_literals
    
    ########################################################################################################################
    # 加载相关类库
    import os
    import sys
    import scipy.io
    import numpy as np
    
    ########################################################################################################################
    # .mat文件数据格式
    # imagelabel.mat
    # jpg_name   1     2     3 ...
    # label      32    12    66 ...
    #
    # setid.mat
    # jpg_name(10 records in a class)  24 6 100 65 32 ...
    # label                            4 ...
    
    
    ########################################################################################################################
    # 自定义生成函数
    def generate(file_name, dict_name):
        image_path = 'jpg'  # jpg 文件夹名称
        imagelabels_path = './imagelabels.mat'
        imagelabels_data = scipy.io.loadmat(imagelabels_path)
        labels = np.array(imagelabels_data['labels'][0])
        setid_path = './setid.mat'
        setid_data = scipy.io.loadmat(setid_path)
        # 设置字典
        lv_dict = {'train': np.array(setid_data['trnid'][0]),
                   'valid': np.array(setid_data['valid'][0]),
                   'test': np.array(setid_data['tstid'][0])}
        # 写入文件
        with open("%s.txt" % file_name, "w") as file:
            # 遍历
            for lv_id in lv_dict[dict_name]:
                message = str(image_path) + "/image_" + str(lv_id).zfill(5) + ".jpg " + str(labels[lv_id - 1] - 1)
                # print(message)
                file.write(message + '\n')
    
        # 提示信息
        print(f"{file_name}.txt generate complete!")
    
    
    ########################################################################################################################
    # 自调用: 每个模块都有一个__name__属性, 当其值是'__main__'时, 表明该模块自身在运行, 否则是被引入.
    if __name__ == '__main__':
        # 训练集
        generate('train_list', 'train')
        # 验证集
        generate('val_list', 'valid')
        # 测试集
        generate('test_list', 'test')

[20210609224740657.png]: /images/20221005/7431efd462a54d0485a19449603500da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWJpbmc4NjA5_size_16_color_FFFFFF_t_70]: /images/20221005/2ef110876b444470bbb588d979bff1c2.png