吴恩达深度学习04-2.5 1X1卷积

古城微笑少年丶 2023-01-06 11:44 189阅读 0赞

### 目录 ###

*  what
 *  why

# what #

*  先上图  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]
 *  首先摆在你面前的是一个6\*6有32个信道的张量，我们先看普通的3\*3\*32的的卷积操作。  
    **普通卷积操作是**：每个信道（即每一层矩阵）的元素对位**相乘作和**（即将3\*3的矩阵拿到6\*6矩阵的左上角做对位**相乘作和**操作）得到一个实数，因为有32个信道（即32层厚度），我们会得到32个实数，再把这32个实数求和，我们得到了一步卷积之后的最左上角的一个实数（最终卷积得到的矩阵是4\*4，设padding=0，step=1）。而后依次挪动卷积核就可以得到完整的4\*4的矩阵了，这是一个卷积核得到的结果，所以所有的卷积核都操作完之后得到的是4\*4\*filters的张量。  
    **1X1卷积操作是**：每个信道（即每一层矩阵）的元素对位**相乘不作和（因为1\*1的矩阵乘完不用作和就是一个实数）**（即将1\*1的矩阵拿到6\*6矩阵的左上角做对位**相乘不作和**操作）得到一个实数，因为有32个信道（即32层厚度），我们会得到32个实数，再把这32个实数求和，**而后使用非线性激活函数对该实数进行激活**，我们得到了一步卷积之后的最左上角的一个实数（最终卷积得到的矩阵是6\*6，设padding=0，step=1）。而后依次挪动卷积核就可以得到完整的6\*6的矩阵了，这是一个卷积核得到的结果，所以所有的卷积核都操作完之后得到的是6\*6\*filters的张量。
 *  为了让大家能看清楚普通卷积和1X1卷积的区别，我把二者相同操作的部分直接复制粘贴了，可以总结出它们不同的地方就是后者**相乘不作和**以及**得到实数后使用非线性激活函数进行激活**。
 *  有些人把1X1卷积看做的全连接层，将1X1矩阵每一层的实数（上图中共32层，即32个通道）看做是一个权值，所以就相当于取6\*6\*32张量中的一个1\*1\*32的张量共32个元素与32个权值相乘作和得到一个神经元的输出，有几个卷积核，就有几个神经元。之所以能看做全连接层，其实是仰仗了其**相乘不作和**的一个特点，使得其看上去就像是全连接层，其实并没有什么高深的。有意思的区别是其第二个特征，即**得到实数后使用非线性激活函数进行激活**，这是它很有意思的一个地方，它人为的对卷积进行的改动，即加入了非线性特征，与其说是1X1卷积的特点，倒不如说是人们给1X1卷积人为增加的一个步骤，**至于为什么要加入非线性特征而普通卷积没有这个步骤呢？** 对于这个问题刚开始我没找到合理的答案。但后来我从反方面想了一下，倘若不加入非线性特征的话，那1X1卷积就变成了纯粹的对于张量的线性组合操作了，就相当于全连接层后面不接激活函数了，这才是没有意义的操作，这是**反神经网络**的手法！**所以加入非线性特征是十分必要的，否则你这个1X1卷积还不如普通卷积了呢！普通卷积好歹能提取特征，还能减少参数进行训练，你这1X1卷积不加入非线性特征的话纯粹成了线性组合，没有任何意义。所以，必须加入非线性特征才能使得1X1卷积发挥全连接层的作用。**

# why #

*  为什么要专门加入1X1卷积呢？网上的理由或者说加入它的好处大致都差不多，不过我想分两类来说，一类是1X1卷积全连接层带来的好处，另一类是卷积本身带来的好处。  
    1.1增加非线性特征（1X1卷积特有的全连接层带来的好处）  
    2.1减少参数，即降维（1X1的话，得益于减少了通道数，这是卷积操作本身带来的好处）  
    这个的话，我还是举个例子吧：  
    普通卷积：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]  
    参数量为：5\*5\*192\*32=153,600  
    引入1×1卷积的卷积操作  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]  
    参数量为：1\*1\*192\*16+5\*5\*16\*32=15,872，有种偷梁换柱的意味。  
    2.2跨通道信息交互（channal 的变换，这也是卷积操作本身带来的好处，与1X1的卷积核无关）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: /images/20221119/0c05a3677afd4f9cb6c4b52483cb7157.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20221119/b3d908d05e3748fb827e086b15efd7e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210114152615701.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3,size_16,color_FFFFFF,t_70