caffe中lstm的实现以及lstmlayer的理解

港控/mmm° 2022-07-14 03:17 118阅读 0赞

> 本文地址：[http://blog.csdn.net/mounty\_fsc/article/details/53114698][http_blog.csdn.net_mounty_fsc_article_details_53114698]

本文内容：

*  本文描述了Caffe中实现LSTM网络的思路以及LSTM网络层的接口使用方法。
 *  本文描述了论文《Long-term recurrent convolutional networks for visual recognition and description》的算法实验
 *  本文不做LSTM原理介绍，不从数学角度推导反向传播，不进行Caffe详细代码分析
 *  本文基于对Caffe的代码及使用有一定的了解

涉及LSTM算法原理的部分可以参考其他文章见如 [理解 LSTM 网络][LSTM]等。

## 1 简介及相关论文 ##

LSTM为处理具有时间维度以及类似时间维度信息的RNN深度神经网络的一种改进模型，参考文献\[1，2\]，在不少问题上能弥补CNN只能处理空间维度信息的缺陷。不同于CNN的深度体现在网络层数及参数规模上，RNN/LSTM的深度主要体现在时间节点上的深度。

Caffe中的LSTM相关代码由Jeff Donahue基于文献\[1\]的实验Merge而来。文献\[3\]中有三个关于使用LSTM的实验：（1）行为识别（[介绍及代码][Link 1]） （2）图像描述（图像标注，[介绍及代码][Link 2]） （3）视频描述。 三个实验难度依次递增。其中前两个实验代码开源。

![论文图片][20161110141705935]

本文主要从文献\[3\]第一个实验出发，介绍LSTM的接口的使用。

## 2 行为识别实验 ##

实验使用UCF-101 数据集。行为识别实验目的为给定一视频片段，判断出视频片段人物的行为。

### 2.1 算法介绍 ###

如1.1图所示，该实验的方法为：

1.  首先提取视频的部分帧
2.  其次根据标注的帧预训练一个图片分类网络（基于AlexNet）
3.  训练LSTM模型  
    
    
     *  预训练的共享的CNN提取一段视频序列（时间上相关的帧）的CNN特征
     *  以上特征输入至LSTM单元
     *  对每个LSTM单元的输出取平均得到最后的检测结果

### 2.2 网络模型 ###

Caffe训练网络的网络结果如下所示：  
![20161110144145914][]

### 2.3相关术语及变量 ###

*  N 为LSTM同时处理的独立流的个数，在该实验中为输入LSTM相互独立的视频的个数，以该实验测试网络为例，本文取T=3。
 *  T 为LSTM网络层处理的时间步总数，在该实验中为输入LSTM的任意一独立视频的视频帧个数，以该实验测试网络为例，本文取T=16。
 *  因此fc-reshape层输出维度为 T×N×4096. 4096为AlexNet中全连接层的维度，即CNN特征的维度。
 *  reshape-cm的输出维度为 T×N，即每一个帧有一个是否连续帧的标志。
 *  reshape-label的维度同样为 T×N

## 3 Caffe 相关类及接口 ##

### 3.1 相关类 ###

主要类说明见官方文档 [RecurrentLayer][]、[LSTMLayer][]、[LSTMUnitLayer][]。

![20161110151304539][]

其中：

*  RecurrentLayer为一个抽象类，定义了处理时间序列的循环神经网络的通用行为
 *  LSTMLayer及RNNLayer为RecurrentLayer的具体实现，后者为RNN的一般形式
 *  LSTMUnitLayer在LSTMLayer内部使用，处理了部分核心计算

### 3.2 接口说明 ###

由官方文档可知，一个 RecurrentLayer/LSTMLayer 的输入为三个Blob：

*  一. 时间变化数据x，(T×N×...)。2.3处已介绍，此实验测试网络中该维度为16×3×4096。注意T在N前面。
 *  二. 序列连续性标志cont,(T×N)。2.3处已介绍，此实验测试网络中该维度为16×3，其中0表示该图片为视频帧的开始，1表示该图片为上一帧的延续。注意不能反过来用1表示为开始，在代码实现中，开始帧视频应当“遗忘”以往的信息，所以乘以0归零了之前的数据。
 *  三. 时间不变的静态数据xstatic,(N×...)（可选）。该项在行为识别中没有使用，而在第二个实验图片描述中有使用。如使用一张不随时间变化的图片作为第三个输入，该图片的输入维度为N×4096.

## 4 LSTMLayer ##

Caffe中通过展开LSTMLayer网络层，得到另一个网络从而实现LSTM，即一个LSTMLayer即为一个LSTM网络。以实验中测试网络为例，及T=16,N=3，CNN特征维度为4096，LSTM特征维度为256，来介绍展开网络的各网络层及数据流动情况。

### 4.1 实现流程 ###

如图所示：

*  方框为网络层，文字为网络层类型。
 *  椭圆为数据Blob。
 *  Blob ci为细胞状态； Blob hi为隐藏状态
 *  蓝色为输入数据或产生输出数据的网络层。
 *  红色为权重网络层。
 *  整体外框为基类RecurrentLayer实现的功能，子框为LSTMLayer实现的功能。
 *  输出为Blob h（1,3,256）。
 *  最后的Reduction层生产的伪损失，该网络层不起功能作用，存在的意义只是使这个网络变得完成，而“强制”反向传播。
 *  多个时间步（T1,…,T16）间的InnerProduct是共享参数的，及保证了各个时间步的权重能处理同一时间序列。因而整个网络（LSTM网络）只有三个权重Blob：图中第一个红色框中的InnerProduct层的权重Wxc及 偏置bc，后边所有红色权重层的权重Whc（共享的，且无偏置）
 *  Scale层为根据cont提供的序列连续性情况，来决定是否保持（乘1）与放弃（乘0）之前的隐藏状态ht−1

![20161111122258016][]

### 4.2 公式描述 ###

![论文图片][20161110185729713]

计算公式如下：

it:=sigmoid\[Whi∗ht−1\+Wxi∗xt\+bi\]ft:=sigmoid\[Whf∗ht−1\+Wxf∗xt\+bf\]ot:=sigmoid\[Who∗ht−1\+Wxo∗xt\+bo\]gt:=tanh\[Whg∗ht−1\+Wxg∗xt\+bg\]ct:=(ft.∗ct−1)\+(it.∗gt)ht:=ot.∗tanh\[ct\]

注意：

*  联系前两张图与以上公式，可以描述Caffe的LSTM实现过程
 *  以上公式的\[Wxi,Wxf,Wxo,Wxg\]为由第一个InnnerProduct层保存，及4.1中的Wxc
 *  以上公式的\[bi,bf,bo,bg\]为由第一个InnnerProduct层保存，及4.1中的bc
 *  以上公式的\[Whi,Whf,Who,Whg\]为由后边的InnnerProduct层保存，及4.1中的Whc

## 5 总结 ##

一个RNN/LSTM网络层可以通过从时间维度上进行展开来进行理解（ [理解 LSTM 网络][LSTM]）。同样的，Caffe在实现LSTM时也是通过展开LSTM层来实现，等价于一个LSTM 网络层 即为一个LSTM 网络。

## 6 图像描述实验 ##

实验使用coco caption数据集。给定一张图片，其目标为产生一段语句对该图片进行描述。

### 6.1 语言模型小实验 ###

这部分实验属于图像描述的基础实验。图像描述在该实验基础上拓展而来，且相对图像描述来说更为简单，因而先介绍该小实验。

语言模型实验为训练一个语言模型，使其能够完成：  
（1）给定一个词，如some，该模型能产生下人类语言中能搭配该词的下一个次，如some people, some apple。  
（2）在（1）的基础上，该模型能产生一个完整的语句。

[链接][Link 3]处为作者给出的该模型的实例与教程。

#### 6.1.1 训练 ####

该模型的训练过程与行为检测的训练过程类似。如图所示，LSTM层的输入为两个Blob:  
（1）训练数据Blob，维度为T×N×1000，其中1000为每个词的特征，即语言模型的训练数据中，一个词对应于行为识别中的一张图片（行为识别的训练数据维度为T×N×4096）。  
注意，此处说的维度为`embedded_input_sentence`的维度。而输入数据的`input_sentence`的维度为T×N×8801，8801为词典（词库）的规模N，即输入数据为该词在该词典中的独热向量(one-hot vector)y˜,y˜∈R8801。该独热向量通过权重层Embed层产生一个1000维的特征向量y,y∈R1000。该Embed层等价于实现y=Wey˜,We∈R1000×8801。由于y˜为独热向量，所以也可以理解为We为一个查找表，每一列为一个词的特征向量。  
（2）连续性标志Blob。与行为识别类似，维度为T×N  
![这里写图片描述][20161111125133637]

#### 6.1.2 推理 ####

该模型的产生一个完整句子的过程推理如下图所示。

![20161111144920002][]

说明：  
1. 生成一个完整的句子需要反复多次调用该语言模型，即前一次的结果作为下一次的输入，直至最后的输出为语句终止符EOS  
2. 推理时的输入LSTM维度为1×N×1000，如果是只产生单个语句，则为1×1×1000

### 6.2 使用静态输入xstatic ###

不同于行为识别实验以及语言模型小实验，图像描述实验的LSTM层使用了第三个输入参数，静态输入xstatic。有xstaticLSTM层的训练模型如下图所示：

![20161111164327128][]

注意：

1.  第一个输入Blob同语言模型，维度为(20,100,1000)，即N=100条语句（对应100张图片），时间步T=20，每个词的特征维度为1000。
2.  第二个输入Blob同语言模型，维度为(20,100)
3.  第三个输入Blob为图片CNN特征，维度为(100,1000)，即N=100张图片，每张图片特征为1000维度。注意图片的特征维度尽量与词的特征维度相同，若不同，Caffe会通过填充或截断的方式进行维度长度匹配。
4.  Caffe中的官方文档说对x以及xstatic的处理方式，及通过连接每个时间步xt与xstatic得到新的特征x′t=\[xt;xstatic\]。而由上图可知，实现上Caffe不是使用Concat层连接二者而是使用Eltwise求和二者，及x′t=\[xt\+xstatic\]

### 6.3 图像描述实验 ###

图像描述实验是在语言描述实验的基础上，增加图像的CNN特征作为LSTM的静态输入特征。

文献\[1\]提出三个组合方式，如下图所示：

![20161111170756825][]

1）第一种为一层LSTM，为最朴素的方法。  
2）第二种为两层LSTM，静态输入在第一个LSTM层。  
3）第三种为两层LSTM，静态输入在第二个LSTM层。最后取的是该种方法。

## 参考文献 ##

\[1\] Hochreiter, Sepp, and Schmidhuber, Jürgen. “Long short-term memory.” Neural Computation 9, no. 8 (1997): 1735-1780.

\[2\] Zaremba, Wojciech, and Sutskever, Ilya. “Learning to execute.” arXiv preprint arXiv:1410.4615 (2014).

\[3\] Donahue, J., et al. “Long-term recurrent convolutional networks for visual recognition and description.” Computer Vision and Pattern Recognition IEEE, 2015.

另外，对于caffe中lstmlayer的理解，可以参考一下：

I have a question about caffe-lstm.  
There are members N\_ and T\_ in class LstmLayer ( I found default value of N\_ is 1 ) and their comments are batch size and length of sequence. I am not sure if that means: there are N\_ independent sequences and each one of them has T\_ frames. For example, If I have 5 videos and each one has 100 frames. I must set N\_ = 5 and T\_ = 100. Like this, if I have only one video with 100 frames, I must set N\_ = 1 and T\_ = 100.  
But if I have 5 videos with different frames, say, video1 has 100 frames, video2 has 90 frames, videos3 has 96 frames, video4 has 88 frames, video5 has 99 frames, I feel N\_ must be set 1 and use 'clip' to solve this training. If N\_ is not 1, there is no solution.

Above is my understand about the members in LstmLayer class. Could you tell me if that is right? Thanks!

[![@junhyukoh][junhyukoh]][junhyukoh_junhyukoh]

Owner

[junhyukoh][junhyukoh_junhyukoh]commented [on 23 Sep 2015][]

You are understanding the role of N\_ and T\_ correctly.  
There are one general solution and another solution for some cases:

1.  Use N\_=1 and clip appropriately as you said.  
    This is actually very inefficient because the model cannot process different streams in parallel.
2.  If you are using `softmax loss` as loss function, you can put 5 videos with different frames into streams (N=5) by fixing T as the maximum length (say T=100) and filling extra input frames with zeros (x\_99=0, x\_100=0 for 98-length video).  
    In order to remove unnecessary losses caused by extra frames, you can specify `ignore_label: -1` in the`loss_param` and provide -1 as labels for the extra time steps.  
    This will set loss/gradient to 0 for the extra time steps.

I think Caffe should support a mask indicator for all loss layers so that we can selectively ignore losses for specific examples/time steps.

[/images/20220714/29ef240cc7984a4b960aab06f20c6727.png/caffe-lstm/issues/5][https_github.com_junhyukoh_caffe-lstm_issues_5]

[http_blog.csdn.net_mounty_fsc_article_details_53114698]: http://blog.csdn.net/mounty_fsc/article/details/53114698
[LSTM]: https://img-blog.csdn.net/20161110141625528
[Link 1]: https://people.eecs.berkeley.edu/~lisa_anne/LRCN_video
[Link 2]: http://jeffdonahue.com/lrcn/
[20161110141705935]: /images/20220714/00c71c62f5d141f0babf058eaa390007.png
[20161110144145914]: /images/20220714/352297e1049947508e88832bf4d35d43.png
[RecurrentLayer]: http://caffe.berkeleyvision.org/doxygen/classcaffe_1_1RecurrentLayer.html
[LSTMLayer]: http://caffe.berkeleyvision.org/doxygen/classcaffe_1_1LSTMLayer.html
[LSTMUnitLayer]: http://caffe.berkeleyvision.org/doxygen/classcaffe_1_1LSTMUnitLayer.html
[20161110151304539]: /images/20220714/939061ab3900446b95cf85e8cb3f7b0a.png
[20161111122258016]: /images/20220714/d5efdcd1f6794c9d9f39d47fc652fc1c.png
[20161110185729713]: /images/20220714/36e3864dad264ea1b80069b019fdd362.png
[Link 3]: https://github.com/jeffdonahue/caffe/blob/recurrent/examples/coco_caption/Caffe%20language%20model.ipynb
[20161111125133637]: /images/20220714/686ec6ca0393463282500be4b0a2711b.png
[20161111144920002]: /images/20220714/84eb386d6d754a09a962c3f9a11ef322.png
[20161111164327128]: /images/20220714/35aea0176afd4e30bf3aa9b9016ab15f.png
[20161111170756825]: /images/20220714/2ed6f49de65a4b199dc54e4f4469d51d.png
[junhyukoh]: https://avatars3.githubusercontent.com/u/8590999?v=3&s=88
[junhyukoh_junhyukoh]: /images/20220714/29ef240cc7984a4b960aab06f20c6727.png
[on 23 Sep 2015]: /images/20220714/29ef240cc7984a4b960aab06f20c6727.png/caffe-lstm/issues/5#issuecomment-142451911
[https_github.com_junhyukoh_caffe-lstm_issues_5]: /images/20220714/29ef240cc7984a4b960aab06f20c6727.png/caffe-lstm/issues/5