（简洁）GRU网络

Dear 丶 2022-09-10 10:29 168阅读 0赞

原文链接：[https://www.cnblogs.com/jiangxinyang/p/9376021.html][https_www.cnblogs.com_jiangxinyang_p_9376021.html]

1、GRU概述

GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。

在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。具体结构如下图所示：

![1335117-20180727095108158-462781335.png][]

图中的zt和rt分别表示更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门控制前一状态有多少信息被写入到当前的候选集 h~th~t 上，重置门越小，前一状态的信息被写入的越少。

**2、GRU前向传播**

根据上面的GRU的模型图，我们来看看网络的前向传播公式：

![1335117-20180727095844468-782564539.png][]

![1335117-20180727095855399-1902435868.png][]

![1335117-20180727095907476-585519056.png][]

![1335117-20180727095935319-1953536983.png][]

![1335117-20180727095950130-860185703.png][]

其中\[\]表示两个向量相连，\*表示矩阵的乘积。

**3、GRU的训练过程**

从前向传播过程中的公式可以看出要学习的参数有Wr、Wz、Wh、Wo。其中前三个参数都是拼接的（因为后先的向量也是拼接的），所以在训练的过程中需要将他们分割出来：

![1335117-20180727100311807-586874644.png][]

![1335117-20180727100322586-606960617.png][]

![1335117-20180727100333381-2099677349.png][]

输出层的输入：

![1335117-20180727100459421-2120055003.png][]

输出层的输出：

![1335117-20180727100525847-1002040793.png][]

在得到最终的输出后，就可以写出网络传递的损失，单个样本某时刻的损失为：

![1335117-20180727100644567-1063759257.png][]

则单个样本的在所有时刻的损失为：

![1335117-20180727100730395-2146303423.png][]

采用后向误差传播算法来学习网络，所以先得求损失函数对各参数的偏导（总共有7个）：

![1335117-20180727100836217-793635840.png][]

![1335117-20180727100849287-1187155543.png][]

![1335117-20180727100903305-1540148007.png][]

![1335117-20180727100915296-628782021.png][]

![1335117-20180727100928009-225167932.png][]

![1335117-20180727100945140-531998860.png][]

![1335117-20180727101004309-1206815857.png][]

其中各中间参数为：

![1335117-20180727101037033-1734000897.png][]

![1335117-20180727101050507-1425772506.png][]

![1335117-20180727101101044-1344154700.png][]

![1335117-20180727101111840-2064636646.png][]

![1335117-20180727101121956-2037032397.png][]

在算出了对各参数的偏导之后，就可以更新参数，依次迭代知道损失收敛。

概括来说，LSTM和CRU都是通过各种门函数来将重要特征保留下来，这样就保证了在long-term传播的时候也不会丢失。此外GRU相对于LSTM少了一个门函数，因此在参数的数量上也是要少于LSTM的，所以整体上GRU的训练速度要快于LSTM的。不过对于两个网络的好坏还是得看具体的应用场景。

**参考文献：**

[GRU神经网络][GRU]

[GRU与LSTM总结][GRU_LSTM]

**\*\*\*本文为参考各位大神博客的笔记\***

分类: [深度学习][Link 1]

好文要顶 关注我 收藏该文 ![icon_weibo_24.png][] ![wechat.png][]

[![sample_face.gif][]][sample_face.gif 1]

[微笑sun][sample_face.gif 1]  
[关注 - 18][- 18]  
[粉丝 - 457][- 457]

\+加关注

<div class="clear"></div>
    <div id="post_next_prev">
    
    <a href="https://www.cnblogs.com/jiangxinyang/p/9372678.html" class="p_n_p_prefix">« </a> 上一篇：    <a href="https://www.cnblogs.com/jiangxinyang/p/9372678.html" title="发布于 2018-07-26 16:40">深度学习之Batch Normalization</a>
    <br>
    <a href="https://www.cnblogs.com/jiangxinyang/p/9377970.html" class="p_n_p_prefix">» </a> 下一篇：    <a href="https://www.cnblogs.com/jiangxinyang/p/9377970.html" title="发布于 2018-07-27 15:44">自然语言处理简述</a>

[https_www.cnblogs.com_jiangxinyang_p_9376021.html]: https://www.cnblogs.com/jiangxinyang/p/9376021.html
[1335117-20180727095108158-462781335.png]: /images/20220829/316fc50132a44b49b1a4fcfda8d3c464.png
[1335117-20180727095844468-782564539.png]: /images/20220829/5319a01819104773991bde6058fb952b.png
[1335117-20180727095855399-1902435868.png]: /images/20220829/231be11eca0e487b8011de8811ac85ee.png
[1335117-20180727095907476-585519056.png]: /images/20220829/93f5583b3fe745a9aeab13de800021bb.png
[1335117-20180727095935319-1953536983.png]: /images/20220829/26c634d221d446fe9873e1794ddcad68.png
[1335117-20180727095950130-860185703.png]: /images/20220829/5d2a53130f16468cb425db00e54898fb.png
[1335117-20180727100311807-586874644.png]: /images/20220829/b67d4901e41c474e899961546593513d.png
[1335117-20180727100322586-606960617.png]: /images/20220829/b79904c43604441fae5400b0b0888c66.png
[1335117-20180727100333381-2099677349.png]: /images/20220829/cadd09774c9741599a328879df3208d6.png
[1335117-20180727100459421-2120055003.png]: /images/20220829/34926b0c02a540359ca53c4ceed6f994.png
[1335117-20180727100525847-1002040793.png]: /images/20220829/a12a7924a0354efd8aa7e059de1c403a.png
[1335117-20180727100644567-1063759257.png]: /images/20220829/2833c6c55ece4b85bfbb24a2fb7dad12.png
[1335117-20180727100730395-2146303423.png]: /images/20220829/dd7254dd76364d8abcc3a66a25ff5d76.png
[1335117-20180727100836217-793635840.png]: /images/20220829/b4f34f28154f4a3e98241318731ff16d.png
[1335117-20180727100849287-1187155543.png]: /images/20220829/f8a7a22f5f87438ea48d5f259d364fdf.png
[1335117-20180727100903305-1540148007.png]: /images/20220829/84e8e3ef852d4207ac262ac0b66b6cea.png
[1335117-20180727100915296-628782021.png]: /images/20220829/9230925bd9b54d598d626201f8b6ab7b.png
[1335117-20180727100928009-225167932.png]: /images/20220829/7525d1b3852449639e46b686616d4950.png
[1335117-20180727100945140-531998860.png]: /images/20220829/38100d5da28c4595a0bae4723cc7c652.png
[1335117-20180727101004309-1206815857.png]: /images/20220829/66f7d1e44a354b1ca5b66b492c84db6e.png
[1335117-20180727101037033-1734000897.png]: /images/20220829/495ee24ea1364eef8b0ee9d081cb38de.png
[1335117-20180727101050507-1425772506.png]: /images/20220829/960de304566f46aaa6f983e315eeee5d.png
[1335117-20180727101101044-1344154700.png]: /images/20220829/e881c438fd0c405d88494e45b633d903.png
[1335117-20180727101111840-2064636646.png]: /images/20220829/b7c99c84562c417b8f88d87d7b04fd99.png
[1335117-20180727101121956-2037032397.png]: /images/20220829/f156cffc63af48a88b6cac7f2c0024a4.png
[GRU]: https://blog.csdn.net/wangyangzhizhou/article/details/77332582
[GRU_LSTM]: https://blog.csdn.net/lreaderl/article/details/78022724
[Link 1]: https://www.cnblogs.com/jiangxinyang/category/1252931.html
[icon_weibo_24.png]: https://common.cnblogs.com/images/icon_weibo_24.png
[wechat.png]: /images/20220829/3e3e2ed4e2e441e98ee2e6f8b86c8e59.png
[sample_face.gif]: /images/20220829/fefb6f2def1f42dea50cf1d9a9efd6a3.png
[sample_face.gif 1]: https://home.cnblogs.com/u/jiangxinyang/
[- 18]: https://home.cnblogs.com/u/jiangxinyang/followees/
[- 457]: https://home.cnblogs.com/u/jiangxinyang/followers/