双向RNN深度RNN几种变种

痛定思痛。 2022-09-10 11:07 176阅读 0赞

原文链接：[https://cloud.tencent.com/developer/article/1144238][https_cloud.tencent.com_developer_article_1144238]

前言：前面介绍了LSTM，下面介绍LSTM的几种变种

# 双向RNN #

Bidirectional RNN(双向RNN)假设当前t的输出不仅仅和之前的序列有关，并且 还与之后的序列有关，例如：预测一个语句中缺失的词语那么需要根据上下文进 行预测；Bidirectional RNN是一个相对简单的RNNs，由两个RNNs上下叠加在 一起组成。输出由这两个RNNs的隐藏层的状态决定。

![1620][]

如下图：

![1620 1][]

网络构建的代码如下：

# 开始网络构建
 
 # 1. 输入的数据格式转换
 
 # X格式：[batch_size, time_steps, input_size]
 
 X = tf.reshape(_X, shape=[-1, timestep_size, input_size])
 # 单层LSTM RNN # 2. 定义Cell lstm_cell_fw = tf.nn.rnn_cell.LSTMCell(num_units=hidden_size, reuse=tf.get_variable_scope().reuse) gru_cell_bw = tf.nn.rnn_cell.GRUCell(num_units=hidden_size, reuse=tf.get_variable_scope().reuse) # 3. 单层的RNN网络应用 init_state_fw = lstm_cell_fw.zero_state(batch_size, dtype=tf.float32) init_state_bw = gru_cell_bw.zero_state(batch_size, dtype=tf.float32) # 3. 动态构建双向的RNN网络 """ bidirectional_dynamic_rnn( cell_fw: 前向的rnn cell , cell_bw：反向的rnn cell , inputs：输入的序列 , sequence_length=None , initial_state_fw=None：前向rnn_cell的初始状态 , initial_state_bw=None：反向rnn_cell的初始状态 , dtype=None , parallel_iterations=None , swap_memory=False, time_major=False, scope=None) API返回值：(outputs, output_states) => outputs存储网络的输出信息，output_states存储网络的细胞状态信息 outputs: 是一个二元组, (output_fw, output_bw)构成，output_fw对应前向的rnn_cell的执行结果，结构为：[batch_size, time_steps, output_size];output_bw对应反向的rnn_cell的执行结果，结果和output_bw一样 output_states：是一个二元组，(output_state_fw, output_state_bw) 构成，output_state_fw和output_state_bw是dynamic_rnn API输出的状态值信息 """ outputs, states = tf.nn.bidirectional_dynamic_rnn( cell_fw=lstm_cell_fw, cell_bw=gru_cell_bw, inputs=X, initial_state_fw=init_state_fw, initial_state_bw=init_state_bw) output_fw = outputs[0][:, -1, :] output_bw = outputs[1][:, -1, :] output = tf.concat([output_fw, output_bw], 1)</pre><h1 id="%E6%B7%B1%E5%BA%A6RNN" name="%E6%B7%B1%E5%BA%A6RNN">深度RNN</h1>Deep Bidirectional RNN(深度双向RNN)类似Bidirectional RNN，区别在于每 个每一步的输入有多层网络，这样的话该网络便具有更加强大的表达能力和学习 能力，但是复杂性也提高了，同时需要训练更多的数据。<figure><div class="image-block"><img src="https://ask.qcloudimg.com/http-save/yehe-1679070/lkeer3rmtt.png?imageView2/2/w/1620" class="" style="cursor: zoom-in;"></div></figure>深度RNN网络构建的代码如下：<pre class="prism-token token language-javascript">#多层 def lstm_call(): cell = tf.nn.rnn_cell.LSTMCell(num_units=hidden_size,reuse=tf.get_variable_scope().reuse) return tf.nn.rnn_cell.DropoutWrapper(cell,output_keep_prob=keep_prob) mlstm_cell = tf.nn.rnn_cell.MultiRNNCell(cells=[lstm_call() for i in range(layer_num)]) inint_state = mlstm_cell.zero_state(batch_size,tf.float32) output,state = tf.nn.dynamic_rnn(mlstm_cell,inputs=X,initial_state=inint_state) output = output[:,-1,:]</pre><h1 id="%E5%87%A0%E7%A7%8D%E5%8F%98%E7%A7%8D" name="%E5%87%A0%E7%A7%8D%E5%8F%98%E7%A7%8D">几种变种</h1><ol class="ol-level-0"><li> 增加“peephole connections”层

让门层也接受细胞状态的输入

![1620 2][]

通过耦合忘记门和更新输入门(第一个和第二个门)；也就是不再单独的考虑忘记什么、增 加什么信息，而是一起进行考虑。

![1620 3][]

1.  Gated Recurrent Unit(GRU)，2014年提出 将忘记门和输入门合并成为一个单一的更新门 同时合并了数据单元状态和隐藏状态 结构比LSTM的结构更加简单

![1620 4][]

可以参考论文：[http://arxiv.org/pdf/1402.1128v1.pdf][http_arxiv.org_pdf_1402.1128v1.pdf]

本文参与腾讯云自媒体分享计划，欢迎正在阅读的你也加入，一起分享。

[https_cloud.tencent.com_developer_article_1144238]: https://cloud.tencent.com/developer/article/1144238
[1620]: /images/20220829/e157e5042a7840f688b183b685a02619.png
[1620 1]: /images/20220829/0bf0d045157a46faa14c35893f32fdb4.png
[1620 2]: /images/20220829/e02583969b1b438fb144ed01d2b2752e.png
[1620 3]: /images/20220829/60ee464f9d774ff1ae20496f188c3914.png
[1620 4]: /images/20220829/980bb6f8a1ac40b1b87b1a8fd78fc2a5.png
[http_arxiv.org_pdf_1402.1128v1.pdf]: http://arxiv.org/pdf/1402.1128v1.pdf