Network in Network(2013)，1x1卷积与Global Average Pooling

迈不过友情╰ 2023-06-06 12:14 13阅读 0赞

### 文章目录 ###

*  写在前面
 *  mlpconv layer实现
 *  Global Average Pooling
 *  网络结构
 *  参考

博客：[blog.shinelee.me][] | [博客园][Link 1] | [CSDN][]

# 写在前面 #

[《Network in Network》][Network in Network]简称NIN，出自[颜水成老师][Link 2]团队，首次发表在arxiv的时间为2013年12月，至20190921引用量为2871（google scholar）。

![citations][]

NIN的网络结构仍是在AlexNet基础上修改而来，其主要创新点如下：

*  提出了**mlpconv layer**：mlpconv layer中使用小的多层全连接神经网络（multilayer perceptron, MLP）“micro network”替换掉卷积操作，**micro network的权重被该层输入feature map的所有local patch共享**。卷积操作可以看成线性变换，而micro network可以拟合更复杂的变换，**相当于增强了conv layer的能力**。多个mlpconv layer堆叠构成整个网络，这也是Network in Network名称的由来。
 *  提出了**global average pooling（GAP）**：**NIN不再使用全连接层**，最后一层mlpconv layer输出的feature map数与类别数相同，GAP对每个feature map求全图均值，结果直接通过softmax得到每个类别的概率。**GAP在减少参数量的同时，强行引导网络把最后的feature map学习成对应类别的confidence map**。
 *   1 × 1 1\\times 1 1×1 **convolution**：在mlpconv layer中首次使用了 1 × 1 1\\times 1 1×1卷积， 1 × 1 1\\times 1 1×1卷积可以在不改变尺寸和感受野的情况下，**灵活调整feature map的channel数**，广泛影响了后续网络的设计，如Inception系列等。

本文将依次介绍上面的创新点，同时顺带介绍 全连接 与 卷积的关系、全连接与GAP的关系，最后给出NIN的网络结构。

# mlpconv layer实现 #

![mlpconv][]

论文中讲，mlpconv layer使用一个小的全连接神经网络替换掉卷积，convolution layer与mlpconv layer对比示意图如下，

![Comparison of linear convolution layer and mlpconv layer][]

对于convolution layer，假设有N个kernel，每个kernel的尺寸为 k × k k \\times k k×k，卷积操作将每个 k × k k \\times k k×k大小的local recptive field / local patch**线性映射**为N个输出，汇总所有local patch的卷积结果得到N个feature map。

对于mlpconv layer，使用micro network替换掉卷积，通过micro network将每个 k × k k \\times k k×k的local patch**非线性映射**为N个输出，汇总后仍得到N个feature map。文中说micro network为小的全连接神经网络，但在实现时，这个全连接神经网络却是通过几个卷积层实现的，为什么呢？**因为全连接可以转化成卷积**。

下面为[《Dive into Deep Learning》][Dive into Deep Learning]中提供一个NIN block（mlpconv layer）的mxnet实现，

![NIN block][]

from mxnet import gluon, nd
    from mxnet.gluon import nn
    
    def nin_block(num_channels, kernel_size, strides, padding):
        blk = nn.Sequential()
        blk.add(nn.Conv2D(num_channels, kernel_size, strides, padding, ctivation='relu'),
                nn.Conv2D(num_channels, kernel_size=1, activation='relu'),
                nn.Conv2D(num_channels, kernel_size=1, activation='relu'))
        return blk

一个NIN block通过1个卷积层和2个 1 × 1 1 \\times 1 1×1卷积层堆叠而成，**这3个卷积层的输出channel数相同**。对于第1个卷积层，因为kernel\_size与local patch大小相同，所以**对每一个local patch而言，这个卷积等价于全连接**，共num\_channels个输出，每个输出与local patch全连接的权重就是对应的整个卷积核，卷积核的数量也为num\_channels。对于后面2个 1 × 1 1\\times 1 1×1的卷积层，输入都是num\_channels维的向量，即num\_channels个 1 × 1 1\\times 1 1×1的feature map，kernel\_size与整个feature map的尺寸相同，这个 1 × 1 1\\times 1 1×1的卷积也就相当于全连接了。通过 1 × 1 1\\times 1 1×1的卷积实现了不同卷积核结果间的信息交流。

**实际上，通过调整 1 × 1 1\\times 1 1×1卷积核的数量，可以在不改变输入feature map尺寸和感受野的情况下，灵活地增加或减少feature map的channel数量，引入更多的非线性，表达能力更强，在实现feature map间信息交流的同时，获得信息的压缩或增广表示**。

# Global Average Pooling #

卷积神经网络的经典做法是 数个卷积层+几个全连接层，典型视角是将前面的卷积层视为特征提取器，将全连接层视为分类器。**卷积层的计算量高但参数少，全连接层的计算量少但参数多，一种观点认为全连接层大量的参数会导致过拟合**。作者提出了Global Average Pooling（GAP），取代全连接层，最后一层mlpconv layer输出的feature map数与类别数相同，对每一个feature map取平均，全连接层与GAP的对比如下图所示，图片来自[Review: NIN — Network In Network (Image Classification)][Review_ NIN _ Network In Network _Image Classification]，GAP的结果直接输给softmax得到每个类别的概率。

![FC vs GAP][]

**去掉全连接的GAP强制将feature map与对应的类别建立起对应关系，softmax相当于分数的归一化，GAP的输出可以看成是与每个类别相似程度的某种度量，GAP的输入feature map可以解释为每个类别的置信度图（confidence map）——每个位置为与该类别的某种相似度，GAP操作可以看成是求取每个类别全图置信度的期望。因为只有卷积层，很好地保留了空间信息，增加了可解释性，没有全连接层，减少了参数量，一定程度上降低了过拟合。**

最后一层mlpconv layer输出的feature map如下，可以看到图片label对应的feature map响应最强，强响应基本分布在目标主体所在的位置。

![Visualization of the feature maps from the last mlpconv layer][]

此外，作者还做将GAP与全连接层、全连接+dropout对比，在CIFAR-10库上的测试结果如下，

![GAP comparison][]

**GAP可以看成是一种正则，全连接层的参数是学习到的，GAP可以看成是权值固定的全连接层**。上面的实验说明，这种正则对改善性能是有效的。

# 网络结构 #

论文中给出的整体网络结构如下，

![NIN architecture][]

论文中没有给出具体的参数配置，实际上，**NIN仍是在AlexNet基础上修改而来**，相当于在AlexNet的每个卷积层后插入2个 1 × 1 1\\times 1 1×1卷积层，移除了Local Response Norm，同时用GAP替换掉全连接层。在这里，mlpconv layer既可以看成是增强了原conv layer的表达能力，也可以看成增加了网络深度。

![NIN architecture in d2l][]

# 参考 #

*  [arxiv: Network in Network][Network in Network]
 *  [7.3. Network in Network (NiN)][Dive into Deep Learning]
 *  [Review: NIN — Network In Network (Image Classification)][Review_ NIN _ Network In Network _Image Classification]
 *  [Network In Network architecture: The beginning of Inception][Network In Network architecture_ The beginning of Inception]

[blog.shinelee.me]: https://blog.shinelee.me/
[Link 1]: https://www.cnblogs.com/shine-lee/
[CSDN]: https://blog.csdn.net/blogshinelee
[Network in Network]: https://arxiv.org/abs/1312.4400#
[Link 2]: https://www.ece.nus.edu.sg/stfpage/eleyans/
[citations]: /images/20230601/eba615c6cf2d49dab3f2561073ee19f0.png
[mlpconv]: /images/20230601/228ec19bf48244c48a94b8b7b51cf664.png
[Comparison of linear convolution layer and mlpconv layer]: /images/20230601/9825de5e60b24dea88dc4c54b9ec3637.png
[Dive into Deep Learning]: https://d2l.ai/chapter_convolutional-modern/nin.html
[NIN block]: /images/20230601/9f94de4f05b24793a3de2e34c4c9bf8e.png
[Review_ NIN _ Network In Network _Image Classification]: https://towardsdatascience.com/review-nin-network-in-network-image-classification-69e271e499ee
[FC vs GAP]: /images/20230601/1a1cbd6def394a229a02d116c370e4d2.png
[Visualization of the feature maps from the last mlpconv layer]: /images/20230601/dcfb3ab7ef00497bb2ff36d01d62f547.png
[GAP comparison]: /images/20230601/911bf03fcb6641409df17fbae541c5da.png
[NIN architecture]: /images/20230601/f863ddc4a07d4c369b3174220c500460.png
[NIN architecture in d2l]: /images/20230601/a905266c1ecb4b53a9e635a605f4a217.png
[Network In Network architecture_ The beginning of Inception]: http://teleported.in/posts/network-in-network/