深度学习卷积层与全连接层权重参数个数的计算

傷城~ 2022-11-24 14:15 232阅读 0赞

**1、卷积网络实例分析**

构建卷积网络如下:

from tensorflow.python.keras import datasets, models, layers
    class CNN(object):
        def __init__(self):
            model = models.Sequential()
            # 第1层卷积，卷积核大小为3*3，32个卷积核，28*28为待训练图片的大小
            model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
            # 池化层
            model.add(layers.MaxPooling2D(2, 2))
            # 第2层卷积，卷积核大小为3*3，64个卷积核
            model.add(layers.Conv2D(64, (3, 3), activation='relu'))
            # 池化层
            model.add(layers.MaxPooling2D(2, 2))
            # 第3层卷积，卷积核大小为3*3，128个卷积核
            model.add(layers.Conv2D(128, (3, 3), activation='relu'))
            # 池化层
            model.add(layers.MaxPooling2D(2, 2))
            # 拉成1维形状
            model.add(layers.Flatten())
            # 第4层全连接层，64个神经元
            model.add(layers.Dense(64, activation='relu'))
            # 第5层全连接层  10个神经元，softmax 多用于分类
            model.add(layers.Dense(10, activation='softmax'))
            model.summary()
            self.model = model
    
    if __name__ == "__main__":
        CNN()

输出的网络信息如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpbmdmZW5neGQx_size_16_color_FFFFFF_t_70][]

1 、卷积层参数个数计算方法：（卷积核高 \* 卷积核宽 \* 通道数 + 1） \* 卷积核个数  
2 、当前全连接层参数个数计算方法： （上一层神经元个数 + 1） \* 当前层神经元个数

以上的1代表偏置，因为每个神经元都有一个偏置

卷积层1： 320 = （3 \* 3 \* 1 +1） \* 32  
卷积层2： 18496 = （3 \* 3 \* 32 +1） \* 64  
卷积层3： 73856 = （3 \* 3 \* 64 +1） \* 128

全连接层1： 8256 = （128 + 1） \* 64  
全连接层2： 650 = （64 + 1） \* 10

**2、各层参数和链接数计算**

**举例：**

下面以最经典的LeNet-5例子来逐层分析各层的参数及连接个数。

![Center][]

图2

***C1层（卷积层）：***是一个卷积层，由6个特征图Feature Map构成。特征图中每个神经元与5\*5的邻域(滤波器)相连。

**1. 特征图大小：**特征图的大小28\*28，这样能防止输入的连接掉到边界之外（32-5+1=28）。

feature map边长大小的具体计算参见：http://blog.csdn.net/qq\_15192373/article/details/78393520

**2. 参数个数：**C1有156个可训练参数 (每个滤波器5\*5=25个unit参数和一个bias参数，一共6个滤波器，共(5\*5+1)\*6=156个参数)

**3. 链接个数/FLOPS个数：：**(5\*5+1)\*6 \*(28\*28)=122,304个。左边是滤波器在输入层滑过的神经元个数，右边是C1层每个feature map的神经元个数，左右对应关系是1对28\*28，相乘即为连接数。(每个链接对应1次计算，由wa+b可知，每个参数参与1次计算，所以1个单位的偏置b也算进去)

\----------------------------------------

***S2层（下采样层）:***是一个下采样层，有6个14\*14的特征图。特征图中的每个单元与C1中相对应特征图的2\*2邻域相连接。

**1. 特征图大小：**每个单元的2\*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4（行和列各1/2）

**2. 参数个数：**S2层有 12个 (6\*(1+1)=12) 可训练参数。S2层 每个滤波器路过的4个邻域 的4个输入相加，乘以1个可训练参数w，再加上1个可训练偏置b(即一个滤波器对应两个参数)。(对于子采样层，每一个特征映射图的的可变参数需要考虑你使用的采样方式而定，如文中的采样方式，每一个特征映射图的可变参数数量为2个，有的采样方式不需要参数)

**3. 链接个数/FLOPS个数：**5880个连接，( (2\*2+1)\*6 \*14\*14=5880) 。左边是滤波器在C1层滑过的神经元个数，右边是S2层每个feature map的神经元个数，相乘即为连接数。

\----------------------------------------

***C3层（卷积层）***：是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征map就只有10x10个神经元，但是它有16种不同的卷积核，所以就存在16个特征map了。

**1. 特征图大小：**C3中每个特征图由S2中*所有6个*或者*几个*特征map组合(几个滤波器计算的神经元的值 相加 合并成一个神经元)而成。

为什么不把S2中的每个特征图连接到每个C3的特征图呢？原因有2点。

第1，不完全的连接机制将连接的数量保持在合理的范围内。

第2，也是最重要的，其破坏了网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征（希望是互补的）。（14-5+1=10）

**2. 参数个数：**例如，存在的一个方式是：

*C3的前6个特征图：相当于需要6组滤波器，*每组以S2中 3个相邻 特征图子集 为输入，共享一个偏置。(C3每个特征图 由 S2中3个特征图分别用不同滤波器 再加和得到)

*C3的接下来6个特征图：**相当于需要6组滤波器，*每组以S2中 4个相邻 特征图子集 为输入，共享一个偏置。(1对4)

*C3的接下来3个特征图：**相当于需要3组滤波器，*每组以S2中 4个不相邻 特征图子集 为输入，共享一个偏置。(1对4)

*C3的最后1个特征图：**相当于需要1组滤波器，*每组将S2中所有 特征图 为输入，共享一个偏置。(1对6)

这样C3层有1516个可训练参数。计算：6\*（3\*25+1）+6\*（4\*25+1）+3\*（4\*25+1）+（25\*6+1）=1516。此处，C3个特征图由 S2中n个卷积结果合并，然后共享1个b，组合计算得到。

**3. 链接个数/FLOPS个数：**1516\* 10\*10=151600个连接。左边是滤波器滑过的S2层神经元个数，右边是C3层特征图大小。

\------------------------------------------

**S4层*（下采样层）***：是一个下采样层，由16个5\*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2\*2邻域相连接，跟C1和S2之间的连接一样。

**1. 特征图大小：**5\*5大小。每个单元的2\*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4（行和列各1/2）

**2. 参数个数：**S4层有32个可训练参数。（每个特征图1个因子w和1个偏置b，16\*（1+1）=32）

**3.** **链接个数/FLOPS个数：**16\* (2\*2+1) \*5\*5=2000个连接。左边是滤波器在C3层滑过的神经元个数，右边是S4层神经元个数，相乘即为连接数。

\--------------------------------------------

***C5层（卷积层或第一个全连接层）：***是一个卷积层，有120个特征图(或者说神经元)。每个单元与S4层的全部16个单元的5\*5邻域(与S4层特征图一样大)相连。(120组滤波器, 每组16个滤波器,分别与 S4层16个特征图 进行卷积, 每组得到C5层的一个神经元/特征图)

**1. 特征图大小：**由于S4层特征图的大小也为5\*5（同滤波器一样），故C5特征图的大小为1\*1。(5-5+1=1), 这构成了S4和C5之间的全连接。之所以仍将C5标示为卷积层而非全相联层，是因为如果LeNet-5的输入变大，而其他的保持不变，那么此时特征图的维数就会比1\*1大。

**2. 参数个数：**120\* (16\*5\*5+1)=48120个。滤波器个数120\*16个，所以w有120\*16\*5\*5个，同组16个滤波器共用一个b，所以有120个b。

**3.** **链接个数/FLOPS个数：**48120\*1\*1, 左边是滤波器滑过的神经元个数，右边是C5层特征图大小(其实现在已经变成了单个神经元，大小1\*1)，相乘即为连接数，此处也即FLOPS个数。

\--------------------------------------------

***F6层（全连接层）：**虽然是全连接层，得到F6层每个神经元 由 每组120个1\*1的滤波器对C5层卷积，一共84组滤波器，得到84个神经元。*

**1. 特征图大小：**有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全相连。

**2. 参数个数：**有 84\* (120\*(1\*1)+1)=10164 个可训练参数。如同经典神经网络，F6层计算输入向量(120)和权重向量(1\*1)之间的点积，再加上一个偏置(+1)。然后将其传递给sigmoid函数产生单元i的一个状态。

**3.** **链接个数/FLOPS个数：**10164\* 1\*1，左边是滤波器在C5层滑过的神经元个数，右边是F6层特征图大小。1个链接对应1次计算。

\--------------------------------------------

***输出层：****由欧式径向基函数（Euclidean Radial Basis Function）单元组成，每类一个单元，每个有84个输入。*

*--------------------------------------------*

**3、卷积和下采样说明**

*![Center 1][]*

图3 卷积和子采样过程

**卷积过程包括：**用一个可训练的滤波器fx去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征map了），然后加一个偏置bx，得到卷积层Cx。

**子采样过程包括：**每邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpbmdmZW5neGQx_size_16_color_FFFFFF_t_70]: /images/20221124/23885c6ca95d49b48f65958b8459eb48.png
[Center]: /images/20221124/883fc576d9424d4a93237b6bc5f921f2.png
[Center 1]: /images/20221124/4847ef9b79e044e5be27f5275ed883b6.png