卷积神经网络之(稠密连接网络)DenseNet

不念不忘少年蓝@ 2022-12-26 11:18 139阅读 0赞

## 卷积神经网络之(稠密连接网络)DenseNet ##

ResNet中的跨层连接引申出了无数后续工作，DenseNet就是其中之一。

## 结构 ##

下图所示，ResNet（左）与DenseNet（右）在跨层连接上的主要区别：使用相加和使用连结

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70][]

上面右图表示B的输出在通道维上连接，A的output直接传入B后面的层。

A直接与B后面的所有层连接在一起，所以叫稠密连接。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70 1][]

DenseNet的优点：

*  网络每层的计算量减少
 *  特征的重复利用

第L层的输入直接影响到之后的所有层

第L层的output:![X\_\{L\}=H\_\{L\}(\[x\_\{0\},x\_\{1\},...,x\_\{L-1\}\])][X_L_H_L_x_0_x_1_..._x_L-1]![gif.latex][]

其中![\[x\_\{0\},x\_\{1\},...,x\_\{L-1\}\]][x_0_x_1_..._x_L-1]是L层之前的feature map以通道的维度合并，每一层都包含之前所有层的输出信息，因此每一层只需要很少的特征图，而不是像其他网络一样动不动就几百上千的宽度。同时这种连接方式使得特征和梯度的传递更加有效，网络也就更加容易训练。

**梯度消失问题在网络深度越深的时候越容易出现，原因就是输入信息和梯度信息在很多层之间传递导致的，而现在这种dense connection相当于每一层都直接连接input和loss，因此就可以减轻梯度消失现象，这样更深网络不是问题。**

## **代码** ##

在在`conv_block`函数里实现“批量归一化、激活和卷积“结构。

import d2lzh as d2l
    from mxnet import gluon, init, nd
    from mxnet.gluon import nn
    
    def conv_block(num_channels):
        blk = nn.Sequential()
        blk.add(nn.BatchNorm(), nn.Activation('relu'),
                nn.Conv2D(num_channels, kernel_size=3, padding=1))
        return blk

稠密块由多个`conv_block`组成，每块使用相同的输出通道数。但在前向计算时，我们将每块的输入和输出在通道维上连结。

class DenseBlock(nn.Block):
        def __init__(self, num_convs, num_channels, **kwargs):
            super(DenseBlock, self).__init__(**kwargs)
            self.net = nn.Sequential()
            for _ in range(num_convs):
                self.net.add(conv_block(num_channels))
    
        def forward(self, X):
            for blk in self.net:
                Y = blk(X)
                X = nd.concat(X, Y, dim=1)  # 在通道维上将输入和输出连结
            return X

--------------------

参考资料：

[DenseNet算法详解][DenseNet]

[<<动手学深度学习>>][Link 1]

其他经典网络结构：

[卷积神经网络之 LeNet][LeNet][卷积神经网络之(稠密连接网络)DenseNet][DenseNet 1]

[卷积神经网络之(深度卷积神经网络)AlexNet][AlexNet]

[卷积神经网络之(使用重复元素的网络)VGG][VGG]

[卷积神经网络之残差网络ResNet详解][ResNet]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70]: /images/20221120/27d11cb8d8134fa298eefe68855bd4b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70 1]: /images/20221120/e03a5e32be2d4f9bb0467424b9a98632.png
[X_L_H_L_x_0_x_1_..._x_L-1]: https://private.codecogs.com/gif.latex?X_%7BL%7D%3DH_%7BL%7D%28%5Bx_%7B0%7D%2Cx_%7B1%7D%2C...%2Cx_%7BL-1%7D%5D%29
[gif.latex]: https://private.codecogs.com/gif.latex?
[x_0_x_1_..._x_L-1]: https://private.codecogs.com/gif.latex?%5Bx_%7B0%7D%2Cx_%7B1%7D%2C...%2Cx_%7BL-1%7D%5D
[DenseNet]: https://blog.csdn.net/u014380165/article/details/75142664
[Link 1]: http://zh.gluon.ai/chapter_convolutional-neural-networks/vgg.html#VGG%E7%BD%91%E7%BB%9C
[LeNet]: https://blog.csdn.net/qq_36766560/article/details/110422783
[DenseNet 1]: https://blog.csdn.net/qq_36766560/article/details/110677652
[AlexNet]: https://blog.csdn.net/qq_36766560/article/details/110469165
[VGG]: https://blog.csdn.net/qq_36766560/article/details/110471398
[ResNet]: https://blog.csdn.net/qq_36766560/article/details/110672378