猿创征文｜深度学习基于ResNet18网络完成图像分类

以你之姓@ 2023-09-27 08:10 161阅读 0赞

## 一．前言 ##

本次任务是利用ResNet18网络实践更通用的图像分类任务。

ResNet系列网络，图像分类领域的知名算法，经久不衰，历久弥新，直到今天依旧具有广泛的研究意义和应用场景。被业界各种改进，经常用于图像识别任务。

今天主要介绍一下ResNet-18网络结构的案例，其他深层次网络，可以依次类推。

ResNet-18，数字代表的是网络的深度，也就是说ResNet18 网络就是18层的吗？实则不然，其实这里的18指定的是带有权重的 18层，包括卷积层和全连接层，不包括池化层和BN层。

**图像分类**（Image Classification）是计算机视觉中的一个基础任务，将图像的语义将不同图像划分到不同类别。很多任务也可以转换为图像分类任务。比如人脸检测就是判断一个区域内是否有人脸，可以看作一个二分类的图像分类任务。

*  数据集：使用的计算机视觉领域的经典CIFAR-10数据集
 *  网络层：网络为ResNet18模型
 *  优化器：优化器为Adam优化器
 *  损失函数：损失函数为交叉熵损失
 *  评价指标：评价指标为准确率

[ResNet][] 网络简介：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg5OTYyNw_size_16_color_FFFFFF_t_70_pic_center]

## 二．数据预处理 ##

#### 2.1　数据集介绍 ####

CIFAR-10数据集包含了10种不同的类别、共60,000张图像，其中每个类别的图像都是6000张，图像大小均为32×3232×32像素。

![6f550f7c5e0b4ebdaebec34945f042ea.png][]

#### 2.2　数据读取 ####

在本实验中，将原始训练集拆分成了train\_set、dev\_set两个部分，分别包括40 000条和10 000条样本。将data\_batch\_1到data\_batch\_4作为训练集，data\_batch\_5作为验证集，test\_batch作为测试集。 最终的数据集构成为：

*  训练集：40 000条样本。
 *  验证集：10 000条样本。
 *  测试集：10 000条样本。

读取一个batch数据的代码如下所示：

import os
    import pickle
    import numpy as np
    
    def load_cifar10_batch(folder_path, batch_id=1, mode='train'):
        if mode == 'test':
            file_path = os.path.join(folder_path, 'test_batch')
        else:
            file_path = os.path.join(folder_path, 'data_batch_'+str(batch_id))
    
        #加载数据集文件
        with open(file_path, 'rb') as batch_file:
            batch = pickle.load(batch_file, encoding = 'latin1')
    
        imgs = batch['data'].reshape((len(batch['data']),3,32,32)) / 255.
        labels = batch['labels']
    
        return np.array(imgs, dtype='float32'), np.array(labels)
    
    imgs_batch, labels_batch = load_cifar10_batch(folder_path='datasets/cifar-10-batches-py', 
                                                    batch_id=1, mode='train')

查看数据的维度：

#打印一下每个batch中X和y的维度
    print ("batch of imgs shape: ",imgs_batch.shape, "batch of labels shape: ", labels_batch.shape)

> batch of imgs shape: (10000, 3, 32, 32) batch of labels shape: (10000,)

可视化观察其中的一张样本图像和对应的标签，代码如下所示：

%matplotlib inline
    import matplotlib.pyplot as plt
    
    image, label = imgs_batch[1], labels_batch[1]
    print("The label in the picture is {}".format(label))
    plt.figure(figsize=(2, 2))
    plt.imshow(image.transpose(1,2,0))
    plt.savefig('cnn-car.pdf')

![e80d0b6de8164f51a9a16d7904a4f527.png][]

####  ####

#### 2.3　构造Dataset类 ####

构造一个CIFAR10Dataset类，其将继承自`paddle.io.DataSet`类，可以逐个数据进行处理。代码实现如下：

import paddle
    import paddle.io as io
    from paddle.vision.transforms import Normalize
    
    class CIFAR10Dataset(io.Dataset):
        def __init__(self, folder_path='/home/aistudio/cifar-10-batches-py', mode='train'):
            if mode == 'train':
                #加载batch1-batch4作为训练集
                self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, batch_id=1, mode='train')
                for i in range(2, 5):
                    imgs_batch, labels_batch = load_cifar10_batch(folder_path=folder_path, batch_id=i, mode='train')
                    self.imgs, self.labels = np.concatenate([self.imgs, imgs_batch]), np.concatenate([self.labels, labels_batch])
            elif mode == 'dev':
                #加载batch5作为验证集
                self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, batch_id=5, mode='dev')
            elif mode == 'test':
                #加载测试集
                self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, mode='test')
            self.transform = Normalize(mean=[0.4914, 0.4822, 0.4465], std=[0.2023, 0.1994, 0.2010], data_format='CHW')
    
        def __getitem__(self, idx):
            img, label = self.imgs[idx], self.labels[idx]
            img = self.transform(img)
            return img, label
    
        def __len__(self):
            return len(self.imgs)
    
    paddle.seed(100)
    train_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='train')
    dev_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='dev')
    test_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='test')

### 三、模型构建 ###

使用飞桨高层API中的Resnet18进行图像分类实验。

from paddle.vision.models import resnet18
    
    resnet18_model = resnet18()

--------------------

飞桨高层 API是对飞桨API的进一步封装与升级，提供了更加简洁易用的API，进一步提升了飞桨的易学易用性。其中，飞桨高层API封装了以下模块：

1.  Model类，支持仅用几行代码完成模型的训练；
2.  图像预处理模块，包含数十种数据处理函数，基本涵盖了常用的数据处理、数据增强方法；
3.  计算机视觉领域和自然语言处理领域的常用模型，包括但不限于mobilenet、resnet、yolov3、cyclegan、bert、transformer、seq2seq等等，同时发布了对应模型的预训练模型，可以直接使用这些模型或者在此基础上完成二次开发。

### 四、模型训练 ###

复用RunnerV3类，实例化RunnerV3类，并传入训练配置。 使用训练集和验证集进行模型训练，共训练30个epoch。 在实验中，保存准确率最高的模型作为最佳模型。代码实现如下：

import paddle.nn.functional as F
    import paddle.optimizer as opt
    from nndl import RunnerV3, Accuracy
    
    #指定运行设备
    use_gpu = True if paddle.get_device().startswith("gpu") else False
    if use_gpu:
        paddle.set_device('gpu:0')
    #学习率大小
    lr = 0.001  
    #批次大小
    batch_size = 64 
    #加载数据
    train_loader = io.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
    dev_loader = io.DataLoader(dev_dataset, batch_size=batch_size)
    test_loader = io.DataLoader(test_dataset, batch_size=batch_size) 
    #定义网络
    model = resnet18_model
    #定义优化器，这里使用Adam优化器以及l2正则化策略，相关内容在7.3.3.2和7.6.2中会进行详细介绍
    optimizer = opt.Adam(learning_rate=lr, parameters=model.parameters(), weight_decay=0.005)
    #定义损失函数
    loss_fn = F.cross_entropy
    #定义评价指标
    metric = Accuracy(is_logist=True)
    #实例化RunnerV3
    runner = RunnerV3(model, optimizer, loss_fn, metric)
    #启动训练
    log_steps = 3000
    eval_steps = 3000
    runner.train(train_loader, dev_loader, num_epochs=30, log_steps=log_steps, 
                    eval_steps=eval_steps, save_path="best_model.pdparams")

可视化观察训练集与验证集的准确率及损失变化情况。

from nndl import plot
    
    plot(runner, fig_name='cnn-loss4.pdf')

![cf9f2101728a4cbbbe4fbbffc4763718.png][]

在本实验中，使用了第7章中介绍的Adam优化器进行网络优化，如果使用SGD优化器，会造成过拟合的现象，在验证集上无法得到很好的收敛效果。可以尝试使用第7章中其他优化策略调整训练配置，达到更高的模型精度。

###  ###

### 五、模型评价 ###

使用测试数据对在训练过程中保存的最佳模型进行评价，观察模型在测试集上的准确率以及损失情况。代码实现如下：

# 加载最优模型
    runner.load_model('best_model.pdparams')
    # 模型评价
    score, loss = runner.evaluate(test_loader)
    print("[Test] accuracy/loss: {:.4f}/{:.4f}".format(score, loss))

> \[Test\] accuracy/loss: 0.7234/0.8324

### 六、模型预测[¶][Link 1] ###

同样地，也可以使用保存好的模型，对测试集中的数据进行模型预测，观察模型效果，具体代码实现如下：

#获取测试集中的一个batch的数据
    X, label = next(test_loader())
    logits = runner.predict(X)
    #多分类，使用softmax计算预测概率
    pred = F.softmax(logits)
    #获取概率最大的类别
    pred_class = paddle.argmax(pred[2]).numpy()
    label = label[2][0].numpy()
    #输出真实类别与预测类别
    print("The true category is {} and the predicted category is {}".format(label[0], pred_class[0]))
    #可视化图片
    plt.figure(figsize=(2, 2))
    imgs, labels = load_cifar10_batch(folder_path='/home/aistudio/datasets/cifar-10-batches-py', mode='test')
    plt.imshow(imgs[2].transpose(1,2,0))
    plt.savefig('cnn-test-vis.pdf')

![3b4235939b054531a3ffc46715a69d18.png][]

> The true category is 8 and the predicted category is 8

真实是8，预测是8。ship

[ResNet]: https://so.csdn.net/so/search?q=Resnet&spm=1001.2101.3001.7020
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg5OTYyNw_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200825153528831.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg5OTYyNw==,size_16,color_FFFFFF,t_70#pic_center
[6f550f7c5e0b4ebdaebec34945f042ea.png]: https://img-blog.csdnimg.cn/6f550f7c5e0b4ebdaebec34945f042ea.png
[e80d0b6de8164f51a9a16d7904a4f527.png]: https://img-blog.csdnimg.cn/e80d0b6de8164f51a9a16d7904a4f527.png
[cf9f2101728a4cbbbe4fbbffc4763718.png]: https://img-blog.csdnimg.cn/cf9f2101728a4cbbbe4fbbffc4763718.png
[Link 1]: http://localhost:8889/notebooks/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C-%E4%B8%8B.ipynb#5.5.5-%E6%A8%A1%E5%9E%8B%E9%A2%84%E6%B5%8B
[3b4235939b054531a3ffc46715a69d18.png]: https://img-blog.csdnimg.cn/3b4235939b054531a3ffc46715a69d18.png