卷积神经网络 cnnff.m程序中的前向传播算法数据分步解析

Myth丶恋晨 2021-07-16 12:19 414阅读 0赞

最近在学习卷积神经网络，哎，真的是一头雾水！最后决定从阅读CNN程序下手！

程序来源于GitHub的[DeepLearnToolbox][]

由于确实缺乏理论基础，所以，先从程序的数据流入手，虽然对高手来讲，这样有点太小儿科了，但觉得对于个人理解CNN网络的结构和数据流走向有较大帮助！

下面，将要分析CNN的前向传播算法cnnff.m

本程序所用的神经网络的结构如下图的结构体net所示

<table style="height: 250px; width: 538px;"> 
 <tbody> 
 <tr> 
 <td>结构体net</td> 
 <td><img style="text-align: center;" src="http://images0.cnblogs.com/blog/736761/201508/142051518795328.png" alt=""></td> 
 </tr> 
 <tr> 
 <td> 包含5层 <img style="display: block; margin-left: auto; margin-right: auto;" src="http://images0.cnblogs.com/blog/736761/201508/142051524426457.png" alt=""> </td> 
 <td> 每层的结构 <img style="display: block; margin-left: auto; margin-right: auto;" src="http://images0.cnblogs.com/blog/736761/201508/142051549571256.png" alt=""> <img style="display: block; margin-left: auto; margin-right: auto;" src="http://images0.cnblogs.com/blog/736761/201508/142051556925397.png" alt=""> </td> 
 </tr> 
 </tbody> 
</table>

这五层的结构如下：

![142108145676112.png][]

每层的结构分别如下：

![142106455514206.png][]

为了方便自己理解，下面，分别对每一层的输入、输出、传播分解介绍

只考虑某一批词的样本

注：所有样本集被分为numbatches批，每一批含有batchsize个样本，对于本程序而言，共有50个样本

** 1 第一层到第五层的数据传递**

![142051580044023.png][]

**2 第1层到第2层的前面传播（*l*=2）：卷积操作**

![142105563648401.png][]

利用循环，分别计算第二层每个map的输出：net.layers\{2\}.a\{j\} (j=1,..,6)（这里的*l*=2）

![142051589736094.png][]

下面，讨论第j次循环时，循环体内部的分步解析

**（1****）**初始化一个三维矩阵z

*  z的大小为24\*24\*50，即第二层中每个map的尺寸
 *  z存放的是：第二层中每个map的输入

**（2）计算第2层第j个map的输入**

*  即第1层的所有输出（i=1,…, inputmaps）对第2层的第j个输入的贡献的累加
 *  z的计算方法是：
    
    利用第二层的第j个map的卷积核net.layers\{2\}.k\{i\}\{j\}分别对第一层中的第i个map进行卷积运算(*i*=1,…, net.layers\{1\}.outputmaps)，并将得到的所有卷积结果相加
    
    ![142108545512996.png][]
 *  第2层的inputmaps=1 
 *  对net.layers\{ *l*\}.k\{i\}\{j\}进行解释：

<table style="border-collapse: collapse;"> 
 <tbody> 
 <tr> 
 <td style="padding-left: 7px; padding-right: 7px; border: solid 0.5pt;"> net.layers{ l}.k：是一个元胞，有两层 net.layers{ l}.k{i}：第l-1层的第i个map到第l层的所有maps的卷积核 net.layers{ l}.k{i}{j}：第l-1层的第i个map到第l层的第j个map的卷积核 下面是一个例子： 第四层的卷积核元胞 <img src="http://images0.cnblogs.com/blog/736761/201508/142051596609951.png" alt=""> 第3层的第1个map到第4层的所有maps的卷积核（12）个 <img src="http://images0.cnblogs.com/blog/736761/201508/142052000042679.png" alt=""> 第3层的第1个map到第四层的第1个maps的卷积核 <img src="http://images0.cnblogs.com/blog/736761/201508/142052006148794.png" alt=""> </td> 
 </tr> 
 </tbody> 
</table>

**（3****）**计算第2层的第j个map的输出

*  第二层的第j个map的输出为net.layers\{2\}.a\{j\}=sigm(z+net.layers\{ *l*\}.b\{j\}) 
    
    即第二层的第j个map的输入z+该map的偏执项后，求sigm函数

**（4****）**对第1层的map进行卷积操作的图例

![142107338792142.png][]

**3 第2层到第3层（*l*=3）：降采样操作**

![142113059576425.png][]

![142052028955663.png][]

下面，讨论第j次循环时，循环体内部的分步解析

（1）对第二层的第j个map进行卷积运算，得到z

*  利用的卷积核（大小为scale\*scale）如下：
    
    ![142110515044866.png][]

（2）对z进行降采样，得到第三层的第j个map的输出

（3）如上所示的降采样过程示例如下图所示

![142113355983602.png][]

**4 第3层到第4层的前面传播（*l*=4）：卷积操作**

利用循环，分别计算第四层每个map的输出：net.layers\{ 4\}.a\{j\} (j=1,..,12)（这里的*l*=4）

![142052041767704.png][]

下面，讨论第j次循环时，循环体内部的分步解析

**（1****）**初始化一个三维矩阵z

*  z的大小为24\*24\*50，即第二层中每个map的尺寸
 *  z存放的是：第四层中每个map的输入

**（2****）**计算第4层的第j个map的输入

*  即第3层的所有输出（i=1,…, inputmaps）对第4层的第j个输入的贡献的累加
 *  z的计算方法是：
    
    利用第4层的第j个map的卷积核net.layers\{4\}.k\{i\}\{j\}分别对第3层中的第i个map进行卷积运算(*i*=1,…, net.layers\{1\}.outputmaps)，并将得到的所有卷积结果相加
    
    ![142114033952310.png][]
 *  第4层的inputmaps=12

**（3****）**计算第4层的第j个map的输出

*  第4层的第j个map的输出为net.layers\{4\}.a\{j\}=sigm(z+net.layers\{4\}.b\{j\}) 
    
    即第4层的第j个map的输入z+该map的偏执项后，求sigm函数

**（4****）**对第3层的map进行卷积操作的图例

![142114233015894.png][]

**5 第4层到第5层 (*l*=5)：降采样**

![142114441762551.png][]

![142052052703504.png][]

下面，讨论第j次循环时，循环体内部的分步解析

（1）对第四层的第j个map进行卷积运算，得到z

*  利用的卷积核（大小为scale\*scale）如下：
    
    ![142052066922504.png][]

（2）对z进行降采样，得到第五层的第j个map的输出

（3）如上所示的降采样过程示例如下图所示

![142115040202622.png][]

**6 将第五层的map输出向量化**

![142115239107679.png][]

![142052080209530.png][]

（1）初始化net网络中的fv（其实是新加入fv，原来输入的net中没有fv）

（2）分别对第五层的每个输出map进行向量化（一共用numel(net.layers\{n\}.a个输出map)

（3）对于第五层的第j个输出map

*  得到第五层第j个输出map的尺寸，应该是三维的，得到的三维尺寸向量存入sa中
 *  将第五层的第j个输出map的矩阵转化为一个sa(1)\*sa(2)，sa(3)大小的矩阵
 *  并将该得到的转化矩阵接入到第五层的第j-1个输出map之后
 *  关于矩阵fv的结构如上图所示

**7 第五层向量化后传入普通神经网**

![142115503481902.png][]

![142116138956841.png][]

![142052091457087.png][]

第五层的向量化输出传入一个普通的神经网络，只有输入层和输出层，输入层含有192个神经元，输出层含有10个神经元，输入到输出层的权值矩阵存放在矩阵net.ffW中，在该权值矩阵作用下，该简单神经网络的输出即为最终的整个网络的输出，输出结果存放在net.o矩阵中，该矩阵大小为10\*50，每一列分别表示每个输入样本得到的相应的输出

[DeepLearnToolbox]: https://github.com/rasmusbergpalm/DeepLearnToolbox
[142108145676112.png]: /images/20210716/b3b6a4ae23e04106a8c607d58aeec233.png
[142106455514206.png]: /images/20210716/769e9eb8fdcb4628a79f119c6c7f6b00.png
[142051580044023.png]: /images/20210716/1af995b4eb6d412383a20a41c4bf0d3b.png
[142105563648401.png]: /images/20210716/91877804c4f0448eace7ab9dad7aadfa.png
[142051589736094.png]: /images/20210716/7e17816031974b21b3adfce735e759ea.png
[142108545512996.png]: /images/20210716/187c95834276478780d38ced2cceaeec.png
[142107338792142.png]: /images/20210716/9a317a6286e2471fac2ca2ce219622c2.png
[142113059576425.png]: /images/20210716/6e7b88f7553f4bb6b69fefacdefb84d0.png
[142052028955663.png]: /images/20210716/967d20f6bdc54184aa792671e0119159.png
[142110515044866.png]: /images/20210716/6e3cf2cd6f064b7b8a7dec1619775cc8.png
[142113355983602.png]: /images/20210716/8f069fbb4a4f428fa61595ac032c0335.png
[142052041767704.png]: /images/20210716/9ed1100368a841329787c987740fa892.png
[142114033952310.png]: /images/20210716/2632d8d2c9ba4a16b93d021c60af1bd5.png
[142114233015894.png]: /images/20210716/74dbab44ec3d4db4981ba6dd5aa6ec4f.png
[142114441762551.png]: /images/20210716/05c1d994f7b745619cd9f83ceb0cf6b0.png
[142052052703504.png]: /images/20210716/d90e8ea434a84748b01fcbb8c43b4c92.png
[142052066922504.png]: /images/20210716/f49cf99fca4644af92c29a2db1b8ae03.png
[142115040202622.png]: /images/20210716/ed9840455fd844b5adf93ed0c22169b9.png
[142115239107679.png]: /images/20210716/5a04632b9cd14f45a4efe018d1b65b68.png
[142052080209530.png]: /images/20210716/80d74d378d3f4de8a2ba63703a66c9b0.png
[142115503481902.png]: /images/20210716/15d1c987bdea4b5b8978be7e03291dd2.png
[142116138956841.png]: /images/20210716/938da5e09e30436aa9404c9b092cd520.png
[142052091457087.png]: /images/20210716/cd5a01a1851d4b1782a3cb5e970ddde3.png