算法工程师面试题十二之LSTM简析

逃离我推掉我的手 2022-11-21 11:56 179阅读 0赞

# 前言 #

*  文章来源：LawsonAbs（CSDN）
 *  望各位读者审慎阅读

--------------------

# 1.模型单元结构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]  
主要记住如下特征：

*  lstm 有三重门，分别是：输入门，输出门，遗忘门。  
    输入门：输入的数据有多大程度进入模型；  
    输出门：控制当前时刻的内部状态 c t c\_t ct有多少信息需要输出给外部状态；  
    遗忘门：控制上一个时刻的内部状态 c t − 1 c\_\{t-1\} ct−1需要遗忘多少信息
 *  lstm 的三重门都是由输入向量 x t \\bold\{x\_t\} xt变换得到的，变换公式如下：  
     i t = σ ( W i x t + U i h t − 1 + b i ) o t = σ ( W o x t + U o h t − 1 + b o ) f t = σ ( W f x t + U f h t − 1 + b f ) \\bold\{i\_t\} = \\sigma(\\bold\{W\_i\} \\bold\{x\_t\}+ \\bold\{U\_i\} \\bold\{h\_\{t-1\}\} + \\bold\{b\_i\})\\\\ \\bold\{o\_t\} = \\sigma(\\bold\{W\_o\} \\bold\{x\_t\}+ \\bold\{U\_o\} \\bold\{h\_\{t-1\}\} + \\bold\{b\_o\})\\\\ \\bold\{f\_t\} = \\sigma(\\bold\{W\_f\} \\bold\{x\_t\}+ \\bold\{U\_f\} \\bold\{h\_\{t-1\}\} + \\bold\{b\_f\})\\\\ it=σ(Wixt\+Uiht−1\+bi)ot=σ(Woxt\+Uoht−1\+bo)ft=σ(Wfxt\+Ufht−1\+bf)
 *  更新公式  
     c t = f t ⊙ c t − 1 + i t ⊙ c ~ t h t = o t ⊙ t a n h c t c\_t=f\_t \\odot c\_\{t-1\} + i\_t \\odot \\widetilde\{c\}\_\{t\}\\\\ h\_t=o\_t \\odot tanh \{c\_t\} ct=ft⊙ct−1\+it⊙ctht=ot⊙tanhct
 *  其它标记  
    这里再解释一下其它的标记： 和内部状态 c t c\_t ct相反， h t h\_t ht 表示的是外部状态

# 2.学习笔记 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]

# 3.常问题 #

*  为什么叫`Long Short Term Memory Network`?

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221120/4c7851d01be04f879d5098a8738a21fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/7a3aafbb3e624474a3faa8fd5b8a06f9.png