理解LSTM和GRU

布满荆棘的人生 2023-07-14 08:24 25阅读 0赞

**目录**

1.LSTM网络

1.1 细胞状态（cell state）

1.2 遗忘门（forget gate）

1.3 输入门（input gate）

1.4 输出门（output gate）

2. LSTM的变种GRU

--------------------

## 1.LSTM网络 ##

长短期记忆网络（Long Short Term Memory networks）-通常叫做LSTMs----是RNN中一个特殊的类型。设计LSTMs的主要目的是避免出现长时期依赖的问题，它们的本质是能够记住很长时期内的信息，而且非常轻松能够做到。

先看一下RNN模块：

![SouthEast][]

再看一下LSTM模块：

![SouthEast 1][]

LSTM模块中的符号定义：

![SouthEast 2][]

注意：合并的线表示把两条线上的向量进行合并，如 ![h\_\{t-1\}][h_t-1] 与 ![x\_t][x_t] 的合并后就是 ![\[h\_\{t-1\},x\_t\]][h_t-1_x_t] 。

### 1.1 细胞状态（cell state） ###

LSTMs最关键的地方在于cell（整个绿色的框）的状态和结构图中那条横穿的水平线，这种结构能够轻松实现信息从整个cell中穿过而不做改变，这样就能实现长时期的记忆保留：

![format_png][]

这里添加了门（gates）的概念，选择性的添加或删除信息，主要是通过一个sigmoid网络层和一个逐点相乘来实现的。

注意：

1.  sigmoid层输出的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重，如 0 表示不让任何信息通过；1 表示让所有信息通过。
2.  每个LSTM都有三个这样的门结构，来实现保护和控制信息，分别是遗忘门（forget fate）、输入门（inout gate ）和 输出门（output gate）。

### 1.2 遗忘门（forget gate） ###

首先LSTM要决定哪些信息继续通过这个cell（指的是![C\_\{t-1\}][C_t-1]中的信息），它的输入的 ![h\_\{t-1\}][h_t-1] 和 ![x\_t][x_t] ，如下图粗线所示：

![SouthEast 3][]

### 1.3 输入门（input gate） ###

这一步是决定让多少新的信息加入到cell状态中来（指的是![X\_t][X_t] 中的信息），实现这个主要包括两步：

1.  首先，一个经过sigmoid层，来决定哪些信息需要更新；一个经过tanh层生成向量，作为备选的用来更新的内容，![\\tilde\{C\_t\}][tilde_C_t] 。
2.  再下一步，将上面俩各部分内容联合起来，对cell的状态进行一个更新。

![SouthEast 4][]

有了上面的步骤我们就可以将细胞状态![C\_\{t-1\}][C_t-1] 更新为 ![C\_t][C_t] ，替换掉老的状态信息。

1.  首先旧的状态![C\_\{t-1\}][C_t-1] 与 ![f\_t][f_t] 相乘，去掉不想保留的信息；
2.  然后加上 ![i\_t][i_t] 与 ![\\tilde \{C\_t\}][tilde _C_t] 相乘的结果，这部分信息就是我们要添加的新内容。

![SouthEast 5][]

### 1.4 输出门（output gate） ###

最后，需要决定LSTM模块的输出信息，主要依赖cell的状态 ![C\_t][C_t] 经过一个非线性的过滤：

1.  首先，我们让输入信息经过sigmoid层过滤掉不需要保留的信息；
2.  然后，让更新的细胞状态![C\_\{t-1\}][C_t-1] 经过一个 tanh层（把数值更新在-1到1之间）；
3.  最后，把tanh层的输出与 sigmoid层计算出来的权重相乘，这样就得到了最后输出的结果。

![SouthEast 6][]

## 2. LSTM的变种GRU ##

GRU，Gated Recurrent Unit，在GRU中只有两个门：重置门（reset gate）和更新门（update gate）。同时在这个结构中将细胞状态和隐层状态进行了合并，最后模型比标准的LSTM结构要简单，后来这个结构也非常流行：

![SouthEast 7][]

其中，![r\_t][r_t] 表示重置门，![z\_t][z_t] 表示重置门。**这里重置门决定是否将之前的状态忘记**。**当 ![r\_t][r_t] 趋于0 的时候，前一个时刻的状态信息 ![h\_\{t-1\}][h_t-1] 会被忘掉，隐层状态 ![\\tilde\{h\_t\}][tilde_h_t] 会被重置为当前输入的信息；更新门决定是否将隐层状态更新为新的状态 ![\\tilde \{h\_t\}][tilde _h_t] 。**

GRU与LSTM的对比：

1.  GRU少了一个门，同时少了细胞状态 ![C\_t][C_t] ；
2.  在LSTM中 通过遗忘门和输入门控制信息的保留和传入；GRU则通过重置门来控制是否保留上一个时刻隐层的信息，但不再限制当前时刻信息的输入；
3.  LSTM中，虽然得到了新的细胞状态![C\_t][C_t] ，但是还不能直接输出，而是要经过一个过滤处理：![h\_t=o\_t \*tanh(C\_t)][h_t_o_t _tanh_C_t] ；同样，在GRU中 虽然也得到了最新的隐层状态信息 **![\\tilde \{h\_t\}][tilde _h_t] ，**但还是不能直接输出，而是通过更新门来控制最后的输出：![h\_t= (1-z\_t)\*h\_\{t-1\} + z\_t \*\\tilde h\_\{t\}][h_t_ _1-z_t_h_t-1_ _ z_t _tilde h_t]

[SouthEast]: /images/20230529/4adbd7119fc14ef7add4a17eb9f7bce5.png
[SouthEast 1]: /images/20230529/3efa85e6180c45138af6e94f6f8a812c.png
[SouthEast 2]: /images/20230529/a95a3953a2a848c0961c323903b03fd9.png
[h_t-1]: https://private.codecogs.com/gif.latex?h_%7Bt-1%7D
[x_t]: https://private.codecogs.com/gif.latex?x_t
[h_t-1_x_t]: https://private.codecogs.com/gif.latex?%5Bh_%7Bt-1%7D%2Cx_t%5D
[format_png]: /images/20230529/ea26839b55c445f1825364d754574a34.png
[C_t-1]: https://private.codecogs.com/gif.latex?C_%7Bt-1%7D
[SouthEast 3]: /images/20230529/1b02250382f34d01a7edcb6644768214.png
[X_t]: https://private.codecogs.com/gif.latex?X_t
[tilde_C_t]: https://private.codecogs.com/gif.latex?%5Ctilde%7BC_t%7D
[SouthEast 4]: /images/20230529/0a73eedc03444a3badafeb734cce37af.png
[C_t]: https://private.codecogs.com/gif.latex?C_t
[f_t]: https://private.codecogs.com/gif.latex?f_t
[i_t]: https://private.codecogs.com/gif.latex?i_t
[tilde _C_t]: https://private.codecogs.com/gif.latex?%5Ctilde%20%7BC_t%7D
[SouthEast 5]: /images/20230529/4571861b64294706a09ab8306d50ab31.png
[SouthEast 6]: /images/20230529/741ca572537d4f7e8bb8df37a37822be.png
[SouthEast 7]: /images/20230529/0c30144642914ae2ad23b915ee58c4d4.png
[r_t]: https://private.codecogs.com/gif.latex?r_t
[z_t]: https://private.codecogs.com/gif.latex?z_t
[tilde_h_t]: https://private.codecogs.com/gif.latex?%5Ctilde%7Bh_t%7D
[tilde _h_t]: https://private.codecogs.com/gif.latex?%5Ctilde%20%7Bh_t%7D
[h_t_o_t _tanh_C_t]: https://private.codecogs.com/gif.latex?h_t%3Do_t%20*tanh%28C_t%29
[h_t_ _1-z_t_h_t-1_ _ z_t _tilde h_t]: https://private.codecogs.com/gif.latex?h_t%3D%20%281-z_t%29*h_%7Bt-1%7D%20&plus;%20z_t%20*%5Ctilde%20h_%7Bt%7D