深层循环神经网络

左手的ㄟ右手 2023-02-10 03:53 1阅读 0赞

# 1. 引入 #

我们学过的序列模型，RNN, GRU, LSTM，以及双向的RNN, GRU, LSTM，他们每一个模型都可以独当一面。

如果我们想学习更复杂的函数，通常我们就会把多个RNN堆叠到一起，构建更深层次的网络。

接下来我们就讲述如何构建深层次的循环神经网络。

# 2. 深层RNN原理 #

见下图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70]

图中左边是传统的多个全连接层组成的深层网络，把RNN按照这种模式一层一层组合在一起，得到右边的深层RNN网络。

在做计算时，比如下图中a22隐层，需要其他时刻与其他层的输出作为输入，所以计算量是很大的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70 1]

# 3. 深层RNN特点 #

1.  RNN的计算复杂，哪怕只有3层，训练过程也很耗时，所以深层RNN一般不像其他网络一样有十几层。
2.  CNN一般会在（最后）全连接层使用dropout，而深层RNN一般不在同一层使用dropout，只在同一个时刻不同层之间使用
3.  深层RNN可以增强模型的表达能力，学习更复杂的函数

# 参考 #

*  \[1\] https://blog.csdn.net/weixin\_42792500/article/details/81254421
 *  \[2\] Andrew Ng， sequence model class

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200519225850840.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200519225917840.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl,size_16,color_FFFFFF,t_70