理解ResNet结构与TensorFlow代码分析

妖狐艹你老母 2022-06-12 09:38 370阅读 0赞

该博客主要以TensorFlow提供的ResNet代码为主，但是我并不想把它称之为代码解析，因为代码和方法，实践和理论总是缺一不可。  
[github地址][github]，其中：

[resnet\_model.py][resnet_model.py]为残差网络模型的实现，包括残差模块，正则化，批次归一化，优化策略等等；

[resnet\_main.py][resnet_main.py]为主函数，主要定义了测试、训练、总结、打印的代码和一些参数。

[cifar\_input.py][cifar_input.py]为数据准备函数，主要把cifar提供的bin数据解码为图片tensor，并组合batch

**为了保证行号的一致性，下面的内容如果涉及到行号的话，均以github上的为准，同时为了节省篇幅，下面如果出现代码将去掉注释，建议在阅读本博客是同时打开github网址，因为下面的内容并没有多少代码。**

既然是在说残差模型，那么当然就要说resnet\_model.py这个代码，整个代码就是在声明一个类——ResNet：

**第38行到55行：**

class ResNet(object):
    
      def __init__(self, hps, images, labels, mode):
        self.hps = hps
        self._images = images
        self.labels = labels
        self.mode = mode
    
        self._extra_train_ops = []

上面是构造函数在初始化对象时的四个参数，实例化对象时也就完成初始化，参数赋值给类中的数据成员，其中`self._images`为私有成员。此外又定义了一个新的私有数组成员：`self._extra_train_ops`用来执行滑动平均操作。

构造函数的参数有`hps`，`images`，`labels`，`mode`。

`hps`在resnet\_main.py在初始化的：

hps = resnet_model.HParams(batch_size=batch_size,
                                 num_classes=num_classes,
                                 min_lrn_rate=0.0001,
                                 lrn_rate=0.1,
                                 num_residual_units=5,
                                 use_bottleneck=False,
                                 weight_decay_rate=0.0002,
                                 relu_leakiness=0.1,
                                 optimizer='mom')

其中的HParams字典在resnet\_mode.py的32行定义，变量的意义分别是：

HParams = namedtuple('HParams',
                         '一个batch内的图片个数', 
                         '分类任务数目', 
                         '最小的学习率', 
                         '学习率', 
                         '一个残差组内残差单元数量', 
                         '是否使用bottleneck',  
                         'relu泄漏',
                         '优化策略')

`images`和`labels`是cifar\_input返回回来的值（115行），注意这里的值已经是batch了，毕竟image和label都加了复数。  
`mode`决定是训练还是测试，它在resnet\_main.py中定义（29行）并初始化（206行）。

除了`__init__`的构造函数外，类下还定义了12个函数，把残差模型构建中用到功能模块化了，12个函数貌似很多的样子，但是都是一些很简单的功能，甚至有一些只有一行代码\*\*（比如可以看下65行）\*\*，之所有单拉出来是因为功能是独立的，或者反复出现，TensorFlow提供的代码还是非常规范和正规的！

按照自上而下的顺序依次是：

`build_graph(self):`  
构建TensorFlow的graph

`_stride_arr(self, stride):`  
定义卷积操作中的步长

`_build_model(self):`  
构建残差模型

`_build_train_op(self):`  
构建训练优化策略

`_batch_norm(self, name, x):`  
批次归一化操作

`_residual(self, x, in_filter, out_filter, stride,activate_before_residual=False):`  
不带bottleneck的残差模块，或者也可以叫做残差单元，**总之注意不是残差组**！

`_bottleneck_residual(self, x, in_filter, out_filter, stride,activate_before_residual=False):`  
带bottleneck的残差模块

`decay(self):`  
L2正则化

`_conv(self, name, x, filter_size, in_filters, out_filters, strides):`  
卷积操作

`_relu(self, x, leakiness=0.0):`  
激活操作

`_fully_connected(self, x, out_dim):`  
全链接

`_global_avg_pool(self, x, out_dim):`  
全局池化

**注意：**  
1.在代码里这12个函数是并列的，但是讲道理的话它们并不平级（有一些函数在调用另一些）。比如卷积，激活，步长设置之类肯定是被调用的。而有三个函数比较重要，分别是：`build_graph(self):`、`_build_model(self):`、`_build_train_op(self):`。第一个是由于TensorFlow就是在维护一张图，所有的数据以tensor的形式在图上流动；第二个决定了残差模型；第三个决定了优化策略。

2.个人认为`_stride_arr(self, stride):`函数不应该出现在该位置（65行），如果把它放后面，前三个函数就分别是构件图，构建模型，构建优化策略。这样逻辑上就很清晰。

3.这套代码没有常规的池化操作，一方面是因为RenNet本身就用步长为2的卷积取代池化，但是在进入残差组之前还是应该有一个常规池化的，只是这个代码没有。

4.这个代码有一个很不讲理的地方，第一层卷积用了3*3的核，不是7*7，也不是3个3\*3（73行）

5.这套代码使用的是bin封装的cifar数据，所以要想改成自己的数据集需要把input的部分换掉。

6.这套代码没有设终止条件，会一直训练/测试，直到手动停止。

到这里代码的结构起码说清楚了，带着上面的注意事项，我们就可以看代码。  
图构建没什么好说的，我们直接进入`_build_model(self)`好了（69行）：  
71-73行定义残差网络的第一个卷积层  
。  
75-82行使用哪种残差单元（带bottleneck还是不带bottleneck），并分别对两种情况定义了残差组中的特征通道数。

90-109行构建了三个残差组，每个组内有4个单元，这个数量是由hps参数决定的。

111-124行是残差组结束后模型剩余的部分（池化+全连接+softmax+loss function+L2），这已经和残差网络的特性没什么关系了，每个卷积神经网络差不多都是这样子。

126行将损失函数计算出的cost加入summary。

所以残差模型最关键的东西，最能表征残差特性的东西，都在90-109行，当然这十几行里是调用了其他函数的。这个本文的最后后再说，下面为保证代码部分的连贯性，先往下说`_build_train_op(self)`（128行）：

130-131行获取学习率并加入到summary。

133-134行根据cost与权系数计算梯度。

136-136行选择使用随机梯度下降还是带动量梯度下降。

141-143行执行梯度下降优化。

145行将梯度下降优化操作与bn操作合并（带op的变量是一种操作）。

146行得到最后的结果，在这里定义了一个新的数组成员：self.train\_op，而这个变量最终被用到了resnet\_main.py中（113行）：

while not mon_sess.should_stop():
          mon_sess.run(model.train_op)

如果没有达到终止条件的话，代码将一直执行优化操作，model是类实例化出来的一个对象，在resnet\_main.py中的model和在resnet\_model.py中的self是一个东西。

到这里重要的代码就都说完了，最后说回残差网络最核心的东西：两种残差单元。  
残差网络的结构非常简单，就是不断的通过一组一组的残差组链接，这是一个[Resnet50][]的结构图，不同的网络结构在不同的组之间会有不同数目的残差模块，如下图：  
![这里写图片描述][ccfffd0456dfa3309eb3d6b91833867a.png]  
举个例子，比如resnet50中，2-5组中分别有3，4，6，3个残差模块。

**朴素残差模块（不带bottleneck）：**  
![这里写图片描述][e5f58e8f51f8051855a9e594cd89ead9.png]  
左侧为正常了两个卷积层，而右侧在两个卷积层前后做了直连，这个直连解释残差，左侧的输出为H(x)=F(x)，而加入直连后的H(x)=F(x)+x，一个很简单的改进，但是取得了非常优异的效果。  
至于为什么直连要跨越两个卷积层，而不是一个？这个是实验验证的结果，在一个卷积层上加直连性能并没有太大提升。

**bottleneck残差模块：**  
bottleneck残差模块让残差网络可以向更深的方向上走，原因就是因为同一通道数的情况下，bottleneck残差模块要比朴素残差模块节省大量的参数，一个单元内的参数少了，对应的就可以做出更深的结构。  
![这里写图片描述][df03f301b8f6f2a14d6b39433b18f8f3.png]  
上面这样图能够说明二者的区别，左侧的通道数是64（它常出现在50层内的残差结构中），右侧的通道数是256（常出现在50层以上的残差结构中），从右面的图可以看到，bottleneck残差模块将两个3*3换成了1*1，3*3，1*1的形式，第一个1*1用来降通道，3*3用来在降通道的特征上卷积，第二个1*1用于升通道。而参数的减少就是因为在第一个1*1将通道数降了下来。我们可以举一个例子验证一下：

假设朴素残差模块与bottleneck残差模块通道数都是256，那么：

朴素残差模块的参数个数：  
3*3*256*256+3*3*256*256 = 10616832  
bottleneck残差模块的参数个数：  
1*1*256*64+3*3*64*64+1*1*64\*256 = 69632  
可以看到，参数的减少非常明显。

再回到上面的图：  
![这里写图片描述][26586ab06912eef560782f4d30c2fc7b.png]

Resnet34余Resnet50层每一组中的模块个数并没有变化，层数的上升是因为以前两个卷积层变成了3个，前者的参数为3.6亿，后者参数为3.8亿。这样来看的话参数为什么反而多了？这是因为组内的通道数发生了变化，前者各组通道数为\[64，128，256，512\]，而后者的各组通道数为\[256，512，1024，2048\]。这也是残差网络在设计时的一个特点，使用bottleneck残差模块时，组内的通道数要明显高于使用朴素残差模块。

TensorFlow提供的代码也是这样，可以看下77行：

if self.hps.use_bottleneck:
          res_func = self._bottleneck_residual
          filters = [16, 64, 128, 256]
        else:
          res_func = self._residual
          filters = [16, 16, 32, 64]

通过上面的理论说明，就可以再回头看下代码中的:`_residual()`函数和`_bottleneck_residual()`函数了。

[github]: https://github.com/chaipangpang/ResNet_cifar
[resnet_model.py]: https://github.com/chaipangpang/ResNet_cifar/blob/master/resnet_model.py
[resnet_main.py]: https://github.com/chaipangpang/ResNet_cifar/blob/master/resnet_main.py
[cifar_input.py]: https://github.com/chaipangpang/ResNet_cifar/blob/master/cifar_input.py
[Resnet50]: http://ethereon.github.io/netscope/#/gist/db945b393d40bfa26006
[ccfffd0456dfa3309eb3d6b91833867a.png]: /images/20220612/73a00c5ba707472599f4171fbd6a52ac.png
[e5f58e8f51f8051855a9e594cd89ead9.png]: /images/20220612/61a9073e765c4c41a668753dc4970787.png
[df03f301b8f6f2a14d6b39433b18f8f3.png]: /images/20220612/4fcd5c2c26b54d0eb0c37c59fa25fd64.png
[26586ab06912eef560782f4d30c2fc7b.png]: /images/20220612/fdd546770e4049aeb9d45a8c62ea09d1.png