深度学习实战（五）——卷积、池化函数的参数介绍

傷城~ 2022-04-25 08:34 70阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70][]

全连接层的缺点：

见下面1.2过滤器参数介绍中关于全连接层和卷积层参数的数量，通过对比发现，相同输入下，全连接的参数数量要远大于卷积所需要的数量。参数增多除了导致计算速 度减慢，还很容易导致过拟合问题。所以需要一个更合理的神经网络结构来有效地减少神经网络中参数个数。卷积神经网络就可以达到这个目的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1][]

这里再详细介绍下卷积神经网络5种组成结构：输入层、卷积层、池化层、全连接层、Softmax层

1. 输入层。输入层是整个神经网络的输入，在处理图像的卷积神经网络中，它一般代表了一张图片的像素矩阵。 比如在图 6-7 中， 最左侧的三维矩阵就可以代表一张图片。其三维矩阵的长和宽代表了图像大小，而三维矩阵的深度代表了图像的色彩通道 （channel ）。比如黑白图片的深度为1，而 RGB 彩模式下 ，图像深度为3。从输入层开始，卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转化为下一层三维矩，直到最后的全连接层。

![20190530205914800.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 2][]

# 一、卷积层 #

## 1.1 工作原理 ##

本节将详细介绍卷积层的结构以及其前向传播的算法。图 6-8 中显示了**卷积网络结构**中最重要的部分，这个部分被称之为**过滤器（filter****）或者内核（kernel）**。TensorFlow文档中称这个结构为过滤器（filter）。它可以将当前层神经网络上的一个**子节点矩阵**转化为下一层神经网络上的一个**单位节点矩阵**。单位节点矩阵指的是一个长和宽都为1，但深度不限的节点矩阵。（单位结点矩阵的深度取决于过滤器的层数/维度）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 3][]

这里需要人工指定的值有两处：

*  一个是过滤器的长宽，
 *  另一个就是过滤器的维度即深度

注意：过滤器的尺寸指的是一个过滤器输入节点矩阵的大小（即过滤器的长宽），而深度指的是输出单位节点矩阵的深度。

下一层生成卷积的大小与当前层卷积的大小、过滤器(filter)的大小和过滤器移动的步长（stride）有关，计算公式如下：

![20190530192126413.png][]

## 1.2 过滤器参数的设定： ##

在卷积神经网络中，***过滤器中的参数***被称为***权重***。**一个卷积层****中**使用的**过滤器中的参数**都是**一样**的。这是卷积神经网络一个非常重要的性质。从直观上理解，**共享过滤器的参数**可以使得**图像**上的内容**不受位置的影响**。以 MNIST 手写体数字识别为例，无论数字“ 1”出现在左上角还是右下角 ，图片的种类都是不变的。 因为在左上角和右下角使用的过滤器参数相同，所以通过卷积层之后无论数字在图像上的哪个位置，得到的结果都一样。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 4][]

关于参数个数计算5\*5\*3\*16+16=1216，这里：

>  *  5\*5：一层过滤器所需要的参数个数即权重的数量
>  *  5\*5\*3：一个卷积层对应5\*5的参数，3层有3个5\*5的参数
>  *  \*16：16层参数的总量
>  *  \+16：16个**偏置**

输入层矩阵维度32\*32\*3，有500个隐藏结点的全连接层的参数个数为：

> 32\*32\*3\*500=1,536,000 约为1.5百万

下面是TensorFlow实现卷积层的方式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 5][]

卷积层中strides参数的具体解释：

> conv1 = tf.nn.conv2d(input\_tensor,conv1\_weights,strides=\[1,1,1,1\],padding='SAME')

这是一个常见的卷积操作，其中strides=【1,1,1,1】表示滑动步长为1，padding=‘SAME’表示填0操作

当我们要设置步长为2时，strides=【1,2,2,1】，很多同学可能不理解了，这四个参数分别代表了什么，查了官方函数说明一样不明不白，今天我来解释一下。

strides在官方定义中是一个一维具有四个元素的张量，其规定前后必须为1，这点大家就别纠结了，所以我们可以改的是中间两个数，中间两个数分别代表了水平滑动和垂直滑动步长值，于是就很好理解了。

在卷积核移动逐渐扫描整体图时候，因为步长的设置问题，可能导致剩下未扫描的空间不足以提供给卷积核的，大小扫描 比如有图大小为5\*5,卷积核为2\*2,步长为2,卷积核扫描了两次后，剩下一个元素，不够卷积核扫描了，这个时候就在后面补零，补完后满足卷积核的扫描，这种方式就是same。如果说把刚才不足以扫描的元素位置抛弃掉，就是valid方式。

具体定义如下：

import tensorflow as tf
    
    with tf.variable_scope("conv"):
        # Create variable named "conv/weights".
        weights = tf.get_variable("weights", [5, 5, 32, 32], initializer=tf.random_normal_initializer())
        # Create variable named "conv/biases".
        biases = tf.get_variable("biases", [32], initializer=tf.constant_initializer(0.0))
    
    # tf.trainable_variables()用来获取所有的可训练变量，即之前运用jupyter运行程序时，系统内存中保存的所有变量
    vs = tf.trainable_variables()
    print("There are %d train_able_variables in the Graph: " % len(vs))
    for v in vs:
        print(v.name)

上述代码里的函数介绍：

### 1.2.1 tf.get\_variable() 权值共享 ###

它常**用在一些需要共享的变量**上，比如神经网络里的权重，偏置等。而比如global\_step这种仅仅用来追踪训练步数的变量，它并不是trainable的，那么直接用tf.Variable()方法。

> ***tf.variable\_scope( )***的形参——reuse标志位，起作用的范围是整个变量域内定义的所有变量。
> 
> 在程序中每定义一个新的变量，如tf.variable\_scope( ‘layer2-Pooling1’)，系统内存就会开辟一个以该变量的名字命名的存储空间，用来存储该变量。变量在内存中的存储只与其名字一一对应。
> 
> tf.get\_variable()：表示当内存中一个变量已存在时，将该变量域的reuse置为True，可实现变量重复使用，即变量共享；当内存中一个变量不存在时，将reuse置为False，可创建变量。

关于tf.get\_variable()更多用法看[这里][Link 1]

### `1.2.2 神经网络权重和过滤器的推荐初始值` ###

> **1、权重初始化：**
> 
>     initializer=tf.truncated\_normal\_initializer(stddev=0.1) \#产生一个平均值为0.1，标准差为stddev的截断的正太分布
> 
> `  tf.truncated_normal_initializer：表示从截断的正态分布中输出随机值。生成的值服从具有指定平均值和标准偏差的正态分布，如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。`
> 
> **2、偏置初始化：**
> 
>     tf.constant\_initializer(0.1) \#将偏置b初始化为0.1
> 
>     也可以简写为tf.Constant()
> 
>     初始化为常数，这个非常有用，通常偏置项就是用它初始化的。
> 
>     由它衍生出的两个初始化方法：
> 
>     a、 tf.zeros\_initializer()， 也可以简写为tf.Zeros()
> 
>     b、tf.ones\_initializer(), 也可以简写为tf.Ones()

更多关于tensorflow初始化的函数看：[tensorflow 学习笔记（九）- 参数初始化（initializer)][tensorflow _- _initializer]

# 1.2 池化层 #

池化层可以非常有效地缩小矩阵的尺寸，从而减少最后全连接层中的参数。使用池化层既可以加快计算速度也有防止过拟合问题的作用。

![20190530211129105.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 6][]

**注：③在 TensorF!ow 的实现里全0填充优先填充右下方。这里主要是介绍全0填充的实现原理**

tensorflow实现

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 7][]

吴恩达课程前两章知识点总结：[Deep Learning\_deeplearning.ai(course1、2)简单总结][Deep Learning_deeplearning.ai_course1_2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70]: /images/20220125/753bc5dac3be4887bc1935ddf19982aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1]: /images/20220125/8480410ef8aa4a828b08f97914c30c44.png
[20190530205914800.png]: /images/20220125/964cf7bcba524145b4004c9e488883c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 2]: /images/20220125/25c70a63152b47fb8156853406d5aad3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 3]: /images/20220125/de7a6c02298e4a4db4cfa40378f75606.png
[20190530192126413.png]: /images/20220125/fb29d208141740298754dfcf198da2b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 4]: /images/20220125/83cb27a12e6b43d1b41e6ddd03e819d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 5]: /images/20220125/7bfbf9c1407748969f915b4c4afcfe5f.png
[Link 1]: https://blog.csdn.net/Liven_Zhu/article/details/80218611
[tensorflow _- _initializer]: https://blog.csdn.net/m0_37167788/article/details/79073070
[20190530211129105.png]: /images/20220125/b14e6b74388c4fe79c7e7eeebdb97c32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 6]: /images/20220125/941245f911b149ebb99ce5c8399f9f13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 7]: /images/20220125/0a2f40d239b645c493f209cb8998fc0d.png
[Deep Learning_deeplearning.ai_course1_2]: https://blog.csdn.net/xiayiqian71/article/details/78078712