用LSTM生成武侠人名

冷不防 2021-11-10 03:46 299阅读 0赞

http://magicly.me/2017/04/07/rnn-lstm-generate-name/?utm\_source=tuicool&utm\_medium=referral

之前翻译了[一篇介绍RNN的文章][RNN]，一直没看到[作者][Link 1]写新的介绍LSTM的blog，于是我又找了其他资料学习。本文先介绍一下LSTM，然后用LSTM在金庸、古龙的人名上做了训练，可以生成新的武侠名字，如果有兴趣的，还可以多搜集点人名，用于给小孩儿取名呢，哈哈，justforfun，大家玩得开心…

# RNN回顾 #

RNN的出现是为了解决状态记忆的问题，解决方法很简单，每一个时间点t的隐藏状态h(t)不再简单地依赖于数据，还依赖于前一个时间节点t-1的隐藏状态h(t-1)。可以看出这是一种递归定义（所以循环神经网络又叫递归神经网络Recursive Neural Network），h(t-1)又依赖于h(t-2)，h(t-2)依赖于h(t-3)…所以h(t)依赖于之前每一个时间点的输入，也就是说h(t)记住了之前所有的输入。  
[![rnn][]][rnn]  
上图如果按时间展开，就可以看出RNN其实也就是普通神经网络在时间上的堆叠。  
[![rnn-unrolled][]][rnn-unrolled]

# RNN问题：Long-Term Dependencies #

一切似乎很完美，但是如果h(t)依赖于h(t - 1000)，依赖路径特别长，会导致计算梯度的时候出现梯度消失的问题，训练时间很长根本没法实际使用。下面是一个依赖路径很长的例子：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div>
      我老家【成都】的。。。【此处省去 
     <span>500字】。。。我们那里经常吃【火锅】。。。</span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

# LSTM #

Long Short Term Memory神经网络，也就是LSTM，由[ Hochreiter & Schmidhuber于1997年发表][Hochreiter _ Schmidhuber_1997]。它的出现就是为了解决Long-Term Dependencies的问题，很来出现了很多改进版本，目前应用在相当多的领域（包括机器翻译、对话机器人、语音识别、Image Caption等）。

标准的RNN里，重复的模块里只是一个很简单的结构，如下图：  
[![rnn structure][]][rnn structure]

LSTM也是类似的链表结构，不过它的内部构造要复杂得多：  
[![lstm structure][]][lstm structure]  
上图中的图标含义如下：  
[![lstm components][]][lstm components]

LSTM的核心思想是cell state（类似于hidden state，有LSTM变种把cell state和hidden state合并了， 比如GRU）和三种门：输入门、忘记门、输出门。

cell state每次作为输入传递到下一个时间点，经过一些线性变化后继续传往再下一个时间点（我还没看过[原始论文][Hochreiter _ Schmidhuber_1997]，不知道为啥有了hidden state后还要cell state，好在确实有改良版将两者合并了，所以暂时不去深究了）。  
[![cell state][]][cell state]

门的概念来自于电路设计（我没学过，就不敢卖弄了）。LSTM里，门控制通过门之后信息能留下多少。如下图，sigmoid层输出\[0, 1\]的值，决定多少数据可以穿过门， 0表示谁都过不了，1表示全部通过。  
[![gate][]][gate]

下面我们来看看每个“门”到底在干什么。

首先我们要决定之前的cell state需要保留多少。 它根据h(t-1)和x(t)计算出一个\[0, 1\]的数，决定cell state保留多少，0表示全部丢弃，1表示全部保留。为什么要丢弃呢，不是保留得越多越好么？假设LSTM在生成文章，里面有小明和小红，小明在看电视，小红在厨房做饭。如果当前的主语是小明， ok，那LSTM应该输出看电视相关的，比如找遥控器啊， 换台啊，如果主语已经切换到小红了， 那么接下来最好暂时把电视机忘掉，而输出洗菜、酱油、电饭煲等。  
[![forget gate][]][forget gate]

第二步就是决定输入多大程度上影响cell state。这个地方由两部分构成， 一个用sigmoid函数计算出有多少数据留下，一个用tanh函数计算出一个候选C(t)。 这个地方就好比是主语从小明切换到小红了， 电视机就应该切换到厨房。  
[![input gate][]][input gate]

然后我们把留下来的（t-1时刻的）cell state和新增加的合并起来，就得到了t时刻的cell state。  
[![combine to cell state][]][combine to cell state]

最后我们把cell state经过tanh压缩到\[-1, 1\]，然后输送给输出门（\[0, 1\]决定输出多少东西）。  
[![output][]][output]

现在也出了很多LSTM的变种， 有兴趣的可以看[这里][Link 2]。另外，LSTM只是为了解决RNN的long-term dependencies，也有人从另外的角度来解决的，比如[Clockwork RNNs by Koutnik, et al. (2014).][Clockwork RNNs by Koutnik_ et al. _2014_.]

# show me the code! #

我用的[Andrej Karpathy大神][Andrej Karpathy]的代码， 做了些小改动。这个代码的好处是不依赖于任何深度学习框架，只需要有numpy就可以马上run起来！

然后从网上找了[金庸小说的人名][Link 3]，做了些预处理，每行一个名字，保存到input.txt里，运行代码就可以了。古龙的没有找到比较全的名字， 只有这份[武功排行榜][Link 4]，只有100多人。

下面是根据两份名单训练的结果，已经将完全一致的名字（比如段誉）去除了，所以下面的都是LSTM“新创作发明”的名字哈。来， 大家猜猜哪一个结果是金庸的， 哪一个是古龙的呢？

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> </td> 
   <td> 
    <div>
      { 
     <span>'姜曾铁', <span>'袁南兰', <span>'石万奉', <span>'郭万嗔', <span>'蔡家', <span>'程伯芷', <span>'汪铁志', <span>'陈衣', <span>'薛铁', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'哈赤蔡师', <span>'殷飞虹', <span>'钟小砚', <span>'凤一刀', <span>'宝兰', <span>'齐飞虹', <span>'无若之', <span>'王老英', <span>'钟', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'钟百胜', <span>'师', <span>'李沅震', <span>'曹兰', <span>'赵一刀', <span>'钟灵四', <span>'宗家妹', <span>'崔树胜', <span>'桑飞西', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'上官公希轰', <span>'刘之余人童怀道', <span>'周云鹤', <span>'天', <span>'凤', <span>'西灵素', <span>'大智虎师', <span>'阮徒忠', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'王兆能', <span>'袁铮衣商宝鹤', <span>'常伯凤', <span>'苗人大', <span>'倪不凤', <span>'蔡铁', <span>'无伯志', <span>'凤一弼', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'曹鹊', <span>'黄宾', <span>'曾铁文', <span>'姬胡峰', <span>'李何豹', <span>'上官铁', <span>'童灵同', <span>'古若之', <span>'慕官景岳', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'崔百真', <span>'陈官', <span>'陈钟', <span>'倪调峰', <span>'妹沅刀', <span>'徐双英', <span>'任通督', <span>'上官铁褚容', <span>'大剑太', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'胡阳', <span>'生', <span>'南仁郑', <span>'南调', <span>'石双震', <span>'海铁山', <span>'殷鹤真', <span>'司鱼督', <span>'德小', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'若四', <span>'武通涛', <span>'田青农', <span>'常尘英', <span>'常不志', <span>'倪不涛', <span>'欧阳', <span>'大提督', <span>'胡玉堂', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'陈宝鹤', <span>'南仁通四蒋赫侯'}</span></span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> </td> 
   <td> 
    <div>
      { 
     <span>'邀三', <span>'熊猫开', <span>'鹰星', <span>'陆开', <span>'花', <span>'薛玉罗平', <span>'南宫主', <span>'南宫九', <span>'孙夫人',</span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'荆董灭', <span>'铁不愁', <span>'裴独', <span>'玮剑', <span>'人', <span>'陆小龙王紫无牙', <span>'连千里', <span>'仲先生', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'俞白', <span>'方大', <span>'叶雷一魂', <span>'独孤上红', <span>'叶怜花', <span>'雷大归', <span>'恕飞', <span>'白双发', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'邀一郎', <span>'东楼', <span>'铁中十一点红', <span>'凤星真', <span>'无魏柳老凤三', <span>'萧猫儿', <span>'东郭先凤', </span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'日孙', <span>'地先生', <span>'孟摘星', <span>'江小小凤', <span>'花双楼', <span>'李佩', <span>'仇珏', <span>'白坏刹', <span>'燕悲情', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'姬悲雁', <span>'东郭大', <span>'谢晓陆凤', <span>'碧玉伯', <span>'司实三', <span>'陆浪', <span>'赵布雁', <span>'荆孤蓝', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'怜燕南天', <span>'萧怜静', <span>'龙布雁', <span>'东郭鱼', <span>'司东郭金天', <span>'薛啸天', <span>'熊宝玉', <span>'无莫静',</span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'柳罗李', <span>'东官小鱼', <span>'渐飞', <span>'陆地鱼', <span>'阿吹王', <span>'高傲', <span>'萧十三', <span>'龙童', <span>'玉罗赵', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'谢郎唐傲', <span>'铁夜帝', <span>'江小凤', <span>'孙玉玉夜', <span>'仇仲忍', <span>'萧地孙', <span>'铁莫棠', <span>'柴星夫', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'展夫人', <span>'碧玉', <span>'老无鱼', <span>'铁铁花', <span>'独', <span>'薛月宫九', <span>'老郭和尚', <span>'东郭大路陆上龙关飞', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'司藏', <span>'李千', <span>'孙白人', <span>'南双平', <span>'王玮', <span>'姬原情', <span>'东郭大路孙玉', <span>'白玉罗生', <span>'高儿', </span></span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'东珏天', <span>'萧王尚', <span>'九', <span>'凤三静', <span>'和空摘星', <span>'关吹雪', <span>'上官官小凤', <span>'仇上官金飞', </span></span></span></span></span></span></span></span> 
    </div> 
    <div> 
     <span>'陆上龙啸天', <span>'司空星魂', <span>'邀衣人', <span>'主', <span>'李寻欢天', <span>'东情', <span>'玉夫随', <span>'赵小凤', <span>'东郭灭', <span>'邀祟厚', <span>'司空星'}</span></span></span></span></span></span></span></span></span></span></span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

感兴趣的还可以用古代诗人、词人等的名字来做训练，大家机器好或者有时间的可以多训练下，训练得越多越准确。

# 总结 #

RNN由于具有记忆功能，在NLP、Speech、Computer Vision等诸多领域都展示了强大的力量。实际上，RNN是[图灵等价的][Link 5]。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div>
      If training vanilla neural nets 
     <span>is optimization <span>over functions, training recurrent nets <span>is optimization <span>over programs.</span></span></span></span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

LSTM是一种目前相当常用和实用的RNN算法，主要解决了RNN的long-term dependencies问题。另外RNN也一直在产生新的研究，比如Attention机制。有空再介绍咯。。。

# Refers #

*   *  [http://colah.github.io/posts/2015-08-Understanding-LSTMs/][Link 2]
     *  [http://karpathy.github.io/2015/05/21/rnn-effectiveness/][Andrej Karpathy]
     *  [https://www.zhihu.com/question/29411132][https_www.zhihu.com_question_29411132]
     *  [https://gist.github.com/karpathy/d4dee566867f8291f086][https_gist.github.com_karpathy_d4dee566867f8291f086]
     *  [https://deeplearning4j.org/lstm.html][https_deeplearning4j.org_lstm.html]

转载于:https://www.cnblogs.com/DjangoBlog/p/6889256.html

[RNN]: http://magicly.me/2017/03/09/iamtrask-anyone-can-code-lstm/
[Link 1]: https://twitter.com/iamtrask
[rnn]: /images/20211109/5bd96682c16449c6a87c83cdc5a747e6.png
[rnn-unrolled]: /images/20211109/eb4a967668ed4c8dbeec0d73ac6cae5c.png
[Hochreiter _ Schmidhuber_1997]: http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf
[rnn structure]: /images/20211109/a7365cc1d34945e4a1e98c5400689d17.png
[lstm structure]: /images/20211109/003fef06a0034bcaaee7f074eebfb7e5.png
[lstm components]: /images/20211109/8be80dc84ef44ccf879c31cdda278632.png
[cell state]: /images/20211109/33ff86f5bf5140fda1d1d55c6394faa1.png
[gate]: /images/20211109/65e05bdc6c85402daa6f0c53dca185ec.png
[forget gate]: /images/20211109/a1fc7e1435144967867003e0300d8a26.png
[input gate]: /images/20211109/97a6de9439244d3db3045ca84512c8ff.png
[combine to cell state]: /images/20211109/e81c32d43cc64080bef26810433c7774.png
[output]: /images/20211109/9498719e62d44472b9ba3c296ceaf2a9.png
[Link 2]: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
[Clockwork RNNs by Koutnik_ et al. _2014_.]: http://arxiv.org/pdf/1402.3511v1.pdf
[Andrej Karpathy]: http://karpathy.github.io/2015/05/21/rnn-effectiveness/
[Link 3]: http://www.oocities.org/sg/ye_feng_dengmi/h/hucai6-02.htm
[Link 4]: https://tieba.baidu.com/p/1559430344
[Link 5]: http://binds.cs.umass.edu/papers/1995_Siegelmann_Science.pdf
[https_www.zhihu.com_question_29411132]: https://www.zhihu.com/question/29411132
[https_gist.github.com_karpathy_d4dee566867f8291f086]: https://gist.github.com/karpathy/d4dee566867f8291f086
[https_deeplearning4j.org_lstm.html]: https://deeplearning4j.org/lstm.html