【深度学习】卷积神经网络结构组成与解释

蔚落 2024-02-17 09:48 36阅读 0赞

卷积神经网络是以卷积层为主的深度网路结构，网络结构包括有卷积层、激活层、BN层、池化层、FC层、损失层等。卷积操作是对图像和滤波矩阵做内积（元素相乘再求和）的操作。

**1. 卷积层**

常见的卷积操作如下：

<table> 
 <tbody> 
  <tr> 
   <td align="center">卷积操作</td> 
   <td colspan="1" align="center">解释</td> 
   <td align="center">图解</td> 
  </tr> 
  <tr> 
   <td align="center">标准卷积</td> 
   <td colspan="1" align="center">一般采用3x3、5x5、7x7的卷积核进行卷积操作。</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/f80b896dc5884f04227e732579b621ea.gif" width="395" height="449"></td> 
  </tr> 
  <tr> 
   <td align="center">分组卷积</td> 
   <td colspan="1" align="center">将输入特征图按通道均分为 x 组，然后对每一组进行常规卷积，最后再进行合并。</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/1db01ca6242778905f9fe4c547e059df.png" width="700" height="370"></td> 
  </tr> 
  <tr> 
   <td align="center">空洞卷积</td> 
   <td colspan="1" align="center">为扩大感受野，在卷积核里面的元素之间插入空格来“膨胀”内核，形成“空洞卷积”（或称膨胀卷积），并用膨胀率参数L表示要扩大内核的范围，即在内核元素之间插入L-1个空格。当L=1时，则内核元素之间没有插入空格，变为标准卷积。</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/809601282b7e6d8a4231a01c3fc4e054.png" width="395" height="381"></td> 
  </tr> 
  <tr> 
   <td align="center">深度可分离卷积</td> 
   <td colspan="1" align="center">深度可分离卷积包括为逐通道卷积和逐点卷积两个过程。</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/ce06f94f495003c6916ff0b54136d7fe.png" width="700" height="289"><p></p><p>（通道卷积，2D标准卷积）</p><p><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/13e3a17b0c0ef7d826116a70bbcdf632.png" width="700" height="278"></p><p>（逐点卷积，1x1卷积）</p></td> 
  </tr> 
  <tr> 
   <td align="center">反卷积</td> 
   <td colspan="1" align="center">属于上采样过程，“反卷积”是将卷积核转换为稀疏矩阵后进行转置计算。</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/176557e2005f0e42e4d9753fb0e56197.png" width="344" height="386"></td> 
  </tr> 
  <tr> 
   <td align="center">可变形卷积</td> 
   <td colspan="1" align="center">指标准卷积操作中采样位置增加了一个偏移量offset，如此卷积核在训练过程中能扩展到很大的范围。</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/7b359b5292b7a3876ca55ca3c95e7e8c.png" width="700" height="425"></td> 
  </tr> 
 </tbody> 
</table>

**补充：**

1 x 1卷积即用1 x 1的卷积核进行卷积操作，其作用在于升维与降维。升维操作常用于chennel为1（即是通道数为1）的情况下，降维操作常用于chennel为n（即是通道数为n）的情况下。

降维：通道数不变，数值改变。

![卷积神经网络结构组成与解释][ea9bdac995a18229456aeb026407b1a3.jpeg]

升维：通道数改变为kernel的数量（即为filters），运算本质可以看为全连接。

![卷积神经网络结构组成与解释][2c29539e6c615067042d11bef17a4a2a.jpeg]

卷积计算在深度神经网络中的量是极大的，压缩卷积计算量的主要方法如下：

<table> 
 <tbody> 
  <tr> 
   <td align="center">序号</td> 
   <td align="center">方法</td> 
  </tr> 
  <tr> 
   <td align="center">1</td> 
   <td align="center">采用多个3x3卷积核代替大卷积核（如用两个3 x 3的卷积核代替5 x 5的卷积核）</td> 
  </tr> 
  <tr> 
   <td align="center">2</td> 
   <td align="center">采用深度可分离卷积（分组卷积）</td> 
  </tr> 
  <tr> 
   <td align="center">3</td> 
   <td align="center">通道Shuffle</td> 
  </tr> 
  <tr> 
   <td align="center">4</td> 
   <td align="center">Pooling层</td> 
  </tr> 
  <tr> 
   <td align="center">5</td> 
   <td align="center">Stride = 2</td> 
  </tr> 
  <tr> 
   <td colspan="1" align="center">6</td> 
   <td colspan="1" align="center">等等</td> 
  </tr> 
 </tbody> 
</table>

**2. 激活层**

介绍：为了提升网络的非线性能力，以提高网络的表达能力。每个卷积层后都会跟一个激活层。激活函数主要分为饱和激活函数（sigmoid、tanh）与非饱和激活函数（ReLU、Leakly ReLU、ELU、PReLU、RReLU）。非饱和激活函数能够解决梯度消失的问题，能够加快收敛速度。

常用函数：ReLU函数、Leakly ReLU函数、ELU函数等

![卷积神经网络结构组成与解释][9e86b61ee9da1e485a07508006ffd579.png]

ReLU函数

![卷积神经网络结构组成与解释][be35bd2b830d880c3df66f67ea047412.png]

Leakly ReLU函数

![卷积神经网络结构组成与解释][9d281d4ea078e2a01fa1013d04402046.png]

ELU函数

**3. BN****层(BatchNorm)**

介绍：通过一定的规范化手段，把每层神经网络任意神经元的输入值的分布强行拉回到均值为0，方差为1的标准正态分布。BatchNorm是归一化的一种手段，会减小图像之间的绝对差异，突出相对差异，加快训练速度。但不适用于image-to-image以及对噪声明感的任务中。

常用函数：BatchNorm2d

pytorch用法：nn.BatchNorm2d(num\_features, eps, momentum, affine)

num\_features：一般输入参数为batch\_sizenum\_featuresheight\*width，即为其中特征的数量。

eps：分母中添加的一个值，目的是为了计算的稳定性，默认为：1e-5。momentum：一个用于运行过程中均值和方差的一个估计参数（我的理解是一个稳定系数，类似于SGD中的momentum的系数）。

affine：当设为true时，会给定可以学习的系数矩阵gamma和beta。

**4. 池****化层（pooling）**

介绍：pooling一方面使特征图变小，简化网络计算复杂度。一方面通过多次池化压缩特征，提取主要特征。属于**下采样过程**。

常用函数：Max Pooling(最大池化)、Average Pooling(平均池化)等。

MaxPooling 与 AvgPooling用法：1. 当需综合特征图上的所有信息做相应决策时，通常使用AvgPooling，例如在图像分割领域中用Global AvgPooling来获取全局上下文信息；在图像分类中在最后几层中会使用AvgPooling。2. 在图像分割/目标检测/图像分类前面几层，由于图像包含较多的噪声和目标处理无关的信息，因此在前几层会使用MaxPooling去除无效信息。

![卷积神经网络结构组成与解释][1f2a795c3ca9b95b4a96b2372f79cdc2.png]

**补充：**上采样层重置图像大小为上采样过程，如Resize，双线性插值直接缩放，类似于图像缩放，概念可见最邻近插值算法和双线性插值算法。实现函数有nn.functional.interpolate(input, size = None, scale\_factor = None, mode = ‘nearest’, align\_corners = None)和nn.ConvTranspose2d(in\_channels, out\_channels, kernel\_size, stride = 1, padding = 0, output\_padding = 0, bias = True)

**5. F****C层（全连接层）**

介绍：连接所有的特征，将输出值送给分类器。主要是对前层的特征进行一个加权和（卷积层是将数据输入映射到隐层特征空间），将特征空间通过线性变换映射到样本标记空间（label）。全连接层可以通过1 x 1卷机 global average pooling代替。可以通过全连接层参数冗余，全连接层参数和尺寸相关。

常用函数：nn.Linear(in\_features, out\_features, bias)

![卷积神经网络结构组成与解释][5c37681714895565a9d15ddb949ba432.jpeg]

**补充：**分类器包括线性分类器与非线性分类器。

<table> 
 <tbody> 
  <tr> 
   <td align="center">分类器</td> 
   <td align="center">介绍</td> 
   <td align="center">常见种类</td> 
   <td colspan="1" align="center">优缺点</td> 
  </tr> 
  <tr> 
   <td align="center">线性分类器</td> 
   <td align="center">线性分类器就是用一个“超平面”将正、负样本隔离开</td> 
   <td align="center">LR、Softmax、贝叶斯分类、单层感知机、线性回归、SVM（线性核）等</td> 
   <td colspan="1" align="center">线性分类器速度快、编程方便且便于理解，但是拟合能力低</td> 
  </tr> 
  <tr> 
   <td align="center">非线性分类器</td> 
   <td align="center">非线性分类器就是用一个“超曲面”或者多个超平（曲）面的组合将正、负样本隔离开（即，不属于线性的分类器）</td> 
   <td align="center">决策树、RF、GBDT、多层感知机、SVM（高斯核）等</td> 
   <td colspan="1" align="center">非线性分类器拟合能力强但是编程实现较复杂，理解难度大</td> 
  </tr> 
 </tbody> 
</table>

**6. 损失层**

介绍：设置一个损失函数用来比较网络的输出和目标值，通过最小化损失来驱动网络的训练。网络的损失通过前向操作计算，网络参数相对于损失函数的梯度则通过反向操作计算。

常用函数：分类问题损失（离散值：分类问题、分割问题）：nn.BCELoss、**nn.CrossEntropyLoss**等。回归问题损失（连续值：推测问题、回归分类问题）：nn.L1Loss、**nn.MSELoss**、nn.SmoothL1Loss等。

**7. Dropout层**

介绍：在不同的训练过程中随机扔掉一部分神经元，以防止过拟合，一般用在全连接层。在测试过程中不使用随机失活，所有的神经元都激活。

常用函数：nn.dropout

**8. 优化器**

介绍：为了更高效的优化网络结构（损失函数最小），即是网络的优化策略，主要方法如下：

<table> 
 <tbody> 
  <tr> 
   <td align="center">解释</td> 
   <td align="center">优化器种类</td> 
   <td colspan="1" align="center">特点</td> 
  </tr> 
  <tr> 
   <td align="center">基于梯度下降原则（均使用梯度下降算法对网络权重进行更新，区别在于使用的样本数量不同）</td> 
   <td align="center">GD(梯度下降); SGD(随机梯度下降，面向一个样本); BGD(批量梯度下降，面向全部样本); MBGD(小批量梯度下降，面向小批量样本)</td> 
   <td colspan="1" align="center">引入随机性和噪声</td> 
  </tr> 
  <tr> 
   <td align="center">基于动量原则（根据局部历史梯度对当前梯度进行平滑）</td> 
   <td align="center">Momentum(动量法); NAG(Nesterov Accelerated Gradient)</td> 
   <td colspan="1" align="center">加入动量原则，具有加速梯度下降的作用</td> 
  </tr> 
  <tr> 
   <td align="center">自适应学习率（对于不同参数使用不同的自适应学习率；Adagrad使用梯度平方和、Adadelta和RMSprop使用梯度一阶指数平滑，RMSprop是Adadelta的一种特殊形式、Adam吸收了Momentum和RMSprop的优点改进了梯度计算方式和学习率）</td> 
   <td align="center">Adagrad; Adadelta; RMSprop; Adam</td> 
   <td colspan="1" align="center">自适应学习</td> 
  </tr> 
 </tbody> 
</table>

常用优化器为Adam，用法为：torch.optim.Adam。

**补充：**卷积神经网络正则化是为减小方差，减轻过拟合的策略，方法有：L1正则(参数绝对值的和); L2正则(参数的平方和，weight\_decay：权重衰退)。

**9. 学习率**

介绍：学习率作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及合适收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。

常用函数：torch.optim.lr\_scheduler; ExponentialLR; ReduceLROnplateau; CyclicLR等。

--------------------

**卷积神经网络的常见结构**

常见结构有：跳连结构（ResNet）、并行结构（Inception V1-V4即GoogLeNet）、轻量型结构（MobileNetV1）、多分支结构（SiameseNet; TripletNet; QuadrupletNet; 多任务网络等）、Attention结构（ResNet Attention）

<table> 
 <tbody> 
  <tr> 
   <td align="center">结构</td> 
   <td align="center">介绍与特点</td> 
   <td align="center">图示</td> 
  </tr> 
  <tr> 
   <td align="center">跳连结构（代表：ResNet）</td> 
   <td align="center">2015年何恺明团队提出。引入跳连的结构来防止梯度消失问题，今儿可以进一步加大网络深度。扩展结构有：ResNeXt、DenseNet、WideResNet、ResNet In ResNet、Inception-ResNet等</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/d73b104a022c860414c5c5837ec2711b.png" width="700" height="346"></td> 
  </tr> 
  <tr> 
   <td align="center">并行结构（代表：Inception V1-V4）</td> 
   <td align="center">2014年Google团队提出。不仅强调网络的深度，还考虑网络的宽度。其使用1×1的卷积来进行升降维，在多个尺寸上同时进行卷积再聚合。其次利用稀疏矩阵分解成密集矩阵计算的原理加快收敛速度。</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/64aef45796a96dc0c2c913172eb33f7b.jpeg" width="685" height="375"></td> 
  </tr> 
  <tr> 
   <td align="center">轻量型结构（代表：MobileNetV1）</td> 
   <td align="center">2017年Google团队提出。为了设计能够用于移动端的网络结构，使用Depth-wise Separable Convolution的卷积方式代替传统卷积方式，以达到减少网络权值参数的目的。扩展结构有：MobileNetV2、MobileNetV3、SqueezeNet、ShuffleNet V1、ShuffleNet V2等</td> 
   <td align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/0724ed502793bfca4a2f2d7a45c91f53.png" width="657" height="822"></td> 
  </tr> 
  <tr> 
   <td colspan="1" align="center">多分支结构（代表：TripletNet）</td> 
   <td colspan="1" align="center">基于多个特征提取方法提出，通过比较距离来学习有用的变量。该网络由3个具有相同前馈网络（共享参数）组成的，需要输入是3个样本，一个正样本和两个负样本，或者一个负样本和两个正样本。训练的目标是让相同类别之间的距离竟可能的小，让不同的类别之间距离竟可能的大。常用于人脸识别。</td> 
   <td colspan="1" align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/79ed01d7df6a2a8a6bd1c29de8ad8311.jpeg" width="700" height="526"></td> 
  </tr> 
  <tr> 
   <td colspan="1" align="center">Attention结构（代表：ResNet Attention）</td> 
   <td colspan="1" align="center">对于全局信息，注意力机制会重点关注一些特殊的目标区域，也就是注意力焦点，进而利用有限的注意力资源对信息进行筛选，提高信息处理的准确性和效率。注意力机制有Soft-Attention和Hard-Attention区分，可以作用在特征图上、尺度空间上、channel尺度上和不同时刻历史特征上等。</td> 
   <td colspan="1" align="center"><img alt="卷积神经网络结构组成与解释" src="https://img-blog.csdnimg.cn/img_convert/b436070e6eabca26fa3cef7e4daacf66.png" width="700" height="303"></td> 
  </tr> 
 </tbody> 
</table>

--------------------

参考资料链接：

[ea9bdac995a18229456aeb026407b1a3.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/54219d75a5424429a466ba17e493164f.png
[2c29539e6c615067042d11bef17a4a2a.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/dc0458d6e1fa42dd8ac1b478bee86f87.png
[9e86b61ee9da1e485a07508006ffd579.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/e333bafafa7a4bf69be693e71c1aa755.png
[be35bd2b830d880c3df66f67ea047412.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/21e89a9ad7ec42ed8c53592c74b13de3.png
[9d281d4ea078e2a01fa1013d04402046.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/7f03ae24b9124a30909922cd390492a2.png
[1f2a795c3ca9b95b4a96b2372f79cdc2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/5b298db9987f4383aad9d9247f54bdce.png
[5c37681714895565a9d15ddb949ba432.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/47c670b118284bd891a9231bd8d07581.png