神经网络学习小记录36——Keras实现LSTM与LSTM参数量详解

痛定思痛。 2023-06-28 11:06 10阅读 0赞

### 神经网络学习小记录36——Keras实现LSTM ###

*  学习前言
 *  什么是LSTM
 *   *  1、LSTM的结构
     *  2、LSTM独特的门结构
     *  3、LSTM参数量计算
     *   *  a、遗忘门
         *  b、输入门
         *  c、输出门
         *  d、全部参数量
 *  在Keras中实现LSTM
 *   *  实现代码

# 学习前言 #

我死了我死了我死了！  
![在这里插入图片描述][20190723165901974.jpg_pic_center]

# 什么是LSTM #

## 1、LSTM的结构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]  
我们可以看出，在n时刻，LSTM的输入有三个：

*  当前时刻网络的输入值Xt；
 *  上一时刻LSTM的输出值ht-1；
 *  上一时刻的单元状态Ct-1。

LSTM的输出有两个：

*  当前时刻LSTM输出值ht；
 *  当前时刻的单元状态Ct。

## 2、LSTM独特的门结构 ##

LSTM用两个门来控制单元状态cn的内容：

*  遗忘门（forget gate），它决定了上一时刻的单元状态cn-1有多少保留到当前时刻；
 *  输入门（input gate），它决定了当前时刻网络的输入c’n有多少保存到新的单元状态cn中。

LSTM用一个门来控制当前输出值hn的内容：

*  输出门（output gate），它利用当前时刻单元状态cn对hn的输出进行控制。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]

## 3、LSTM参数量计算 ##

### a、遗忘门 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]  
遗忘门这里需要结合ht-1和Xt来决定上一时刻的单元状态cn-1有多少保留到当前时刻；

由图我们可以得到，我们在这一环节需要计一个参数ft。

![在这里插入图片描述][20200108203730842.png_pic_center]  
里面需要训练的参数分别是Wf和bf。  
在定义LSTM的时候我们会使用到一个参数叫做units，其实就是神经元的个数，也就是LSTM的输出——ht的维度。  
所以：  
 W f 的 参 数 量 = ( x d i m + h d i m ) ∗ h d i m W\_f的参数量 = (x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} Wf的参数量=(xdim\+hdim)∗hdim  
 b f 的 参 数 量 = h d i m b\_f的参数量 = h\_\{dim\} bf的参数量=hdim  
遗忘门的总参数量为：  
 总 参 数 量 = ( ( x d i m + h d i m ) ∗ h d i m + h d i m ) 总参数量 = ((x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} + h\_\{dim\}) 总参数量=((xdim\+hdim)∗hdim\+hdim)

### b、输入门 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 3]  
输入门这里需要结合ht-1和Xt来决定当前时刻网络的输入c’n有多少保存到单元状态cn中。

由图我们可以得到，我们在这一环节需要计算两个参数，分别是it。

![在这里插入图片描述][20200108201400930.png_pic_center]  
和C’t  
![在这里插入图片描述][20200108201527164.png_pic_center]  
里面需要训练的参数分别是Wi、bi、WC和bC。  
在定义LSTM的时候我们会使用到一个参数叫做units，其实就是神经元的个数，也就是LSTM的输出——ht的维度。  
所以：  
 W i 的 参 数 量 = ( x d i m + h d i m ) ∗ h d i m W\_i的参数量 = (x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} Wi的参数量=(xdim\+hdim)∗hdim  
 b i 的 参 数 量 = h d i m b\_i的参数量 = h\_\{dim\} bi的参数量=hdim  
 W c 的 参 数 量 = ( x d i m + h d i m ) ∗ h d i m W\_c的参数量 = (x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} Wc的参数量=(xdim\+hdim)∗hdim  
 b c 的 参 数 量 = h d i m b\_c的参数量 = h\_\{dim\} bc的参数量=hdim  
输入门的总参数量为：  
 总 参 数 量 = 2 ∗ ( ( x d i m + h d i m ) ∗ h d i m + h d i m ) 总参数量 = 2\*((x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} + h\_\{dim\}) 总参数量=2∗((xdim\+hdim)∗hdim\+hdim)

### c、输出门 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 4]  
输出门利用当前时刻单元状态cn对hn的输出进行控制；

由图我们可以得到，我们在这一环节需要计一个参数ot。

![在这里插入图片描述][20200108204021475.png_pic_center]  
里面需要训练的参数分别是Wo和bo。  
在定义LSTM的时候我们会使用到一个参数叫做units，其实就是神经元的个数，也就是LSTM的输出——ht的维度。  
所以：  
 W o 的 参 数 量 = ( x d i m + h d i m ) ∗ h d i m W\_o的参数量 = (x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} Wo的参数量=(xdim\+hdim)∗hdim  
 b o 的 参 数 量 = h d i m b\_o的参数量 = h\_\{dim\} bo的参数量=hdim  
输出门的总参数量为：  
 总 参 数 量 = ( ( x d i m + h d i m ) ∗ h d i m + h d i m ) 总参数量 = ((x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} + h\_\{dim\}) 总参数量=((xdim\+hdim)∗hdim\+hdim)

### d、全部参数量 ###

所以所有的门总参数量为：  
 总 参 数 量 = 4 ∗ ( ( x d i m + h d i m ) ∗ h d i m + h d i m ) 总参数量 = 4\*((x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} + h\_\{dim\}) 总参数量=4∗((xdim\+hdim)∗hdim\+hdim)

# 在Keras中实现LSTM #

**LSTM一般需要输入两个参数。  
一个是unit、一个是input\_shape。**

LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))

**unit用于指定神经元的数量。  
input\_shape用于指定输入的shape，分别指定TIME\_STEPS和INPUT\_SIZE。**

## 实现代码 ##

import numpy as np
    from keras.models import Sequential
    from keras.layers import Input,Activation,Dense
    from keras.models import Model
    from keras.datasets import mnist
    from keras.layers.recurrent import LSTM
    from keras.utils import np_utils
    from keras.optimizers import Adam
    
    TIME_STEPS = 28
    INPUT_SIZE = 28
    BATCH_SIZE = 50
    index_start = 0
    OUTPUT_SIZE = 10
    CELL_SIZE = 75
    LR = 1e-3
    
    (X_train,Y_train),(X_test,Y_test) = mnist.load_data()
     
    X_train = X_train.reshape(-1,28,28)/255
    X_test = X_test.reshape(-1,28,28)/255
    
    Y_train = np_utils.to_categorical(Y_train,num_classes= 10)
    Y_test = np_utils.to_categorical(Y_test,num_classes= 10)
    
    inputs = Input(shape=[TIME_STEPS,INPUT_SIZE])
    
    x = LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))(inputs)
    x = Dense(OUTPUT_SIZE)(x)
    x = Activation("softmax")(x)
    
    model = Model(inputs,x)
    adam = Adam(LR)
    model.summary()
    model.compile(loss = 'categorical_crossentropy',optimizer = adam,metrics = ['accuracy'])
    
    for i in range(50000):
        X_batch = X_train[index_start:index_start + BATCH_SIZE,:,:]
        Y_batch = Y_train[index_start:index_start + BATCH_SIZE,:]
        index_start += BATCH_SIZE
        cost = model.train_on_batch(X_batch,Y_batch)
        if index_start >= X_train.shape[0]:
            index_start = 0
        if i%100 == 0:
            cost,accuracy = model.evaluate(X_test,Y_test,batch_size=50)
            print("accuracy:",accuracy)

实现效果：

10000/10000 [==============================] - 3s 340us/step
    accuracy: 0.14040000014007092
    10000/10000 [==============================] - 3s 310us/step
    accuracy: 0.6507000041007995
    10000/10000 [==============================] - 3s 320us/step
    accuracy: 0.7740999992191792
    10000/10000 [==============================] - 3s 305us/step
    accuracy: 0.8516999959945679
    10000/10000 [==============================] - 3s 322us/step
    accuracy: 0.8669999945163727
    10000/10000 [==============================] - 3s 324us/step
    accuracy: 0.889699995815754
    10000/10000 [==============================] - 3s 307us/step

[20190723165901974.jpg_pic_center]: https://img-blog.csdnimg.cn/20190723165901974.jpg#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200108195241143.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20190813112553856.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20200108202644335.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[20200108203730842.png_pic_center]: https://img-blog.csdnimg.cn/20200108203730842.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20200108195908215.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[20200108201400930.png_pic_center]: https://img-blog.csdnimg.cn/20200108201400930.png#pic_center
[20200108201527164.png_pic_center]: https://img-blog.csdnimg.cn/20200108201527164.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20200108204002273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[20200108204021475.png_pic_center]: https://img-blog.csdnimg.cn/20200108204021475.png#pic_center