LSTM长短期记忆网络

冷不防 2024-03-22 20:42 50阅读 0赞

> [LSTM的matlab详解 ][LSTM_matlab_]

**LSTM（Long Short-Term Memory）** 是一种特殊的循环神经网络，它通过引入门机制（gate）来解决传统循环神经网络长序列训练过程中的梯度消失和爆炸问题，从而能够更好地处理序列数据。

LSTM在传统的循环神经网络基础上增加了三个门结构：遗忘门、输入门和输出门。这些门结构允许网络选择性地忘记或记住特定事物，并控制信息的流动，从而增强了网络的记忆能力和泛化能力。具体来说，

*  遗忘门控制是否清除先前保存的记忆状态，避免无关信息对当前任务造成干扰；
 *  输入门控制当前要存储的信息，提高网络对重要信息的敏感度；
 *  输出门控制哪些记忆状态被输出，使网络能够更好地适应具体的任务需求。

LSTM网络利用这些门结构学习长时间依赖关系，比如在语音识别、自然语言处理和时间序列预测等领域中有着广泛的应用。

以下是一个用LSTM神经网络进行单维度时间序列的示例：

## 单维度的时间序列预测 ##

clc
    clear
    load oxygen.mat %加载数据(double型，剔除了2023年的的第一个数据，总共为2191个。时序预测没有实际时间，只有事情发生的顺序)
    data=data';  %不转置的话，无法训练lstm网络，显示维度不对。
    %% 序列的前17727个用于训练，后200个用于验证神经网络，然后往后预测200个数据。
    dataTrain = data(1:17727);    %定义训练集
    dataTest = data(17728:end);    %该数据是用来在最后与预测值进行对比的
    
    %% 数据预处理
    mu = mean(dataTrain);    %求均值 
    sig = std(dataTrain);      %求均差 
    dataTrainStandardized = (dataTrain - mu) / sig;    
    
    %% 输入的每个时间步，LSTM网络学习预测下一个时间步，这里交错一个时间步效果最好。
    XTrain = dataTrainStandardized(1:end-1);  
    YTrain = dataTrainStandardized(2:end);  
    
    %% 一维特征lstm网络训练
    numFeatures = 1;   %特征为一维
    numResponses = 1;  %输出也是一维
    numHiddenUnits = 200;   %创建LSTM回归网络，指定LSTM层的隐含单元个数200。可调
     
    layers = [ ...
        sequenceInputLayer(numFeatures)    %输入层
        lstmLayer(numHiddenUnits)  % lstm层，如果是构建多层的LSTM模型，可以修改。
        fullyConnectedLayer(numResponses)    %为全连接层,是输出的维数。
        regressionLayer];      %其计算回归问题的半均方误差模块 。即说明这不是在进行分类问题。
     
    %指定训练选项，求解器设置为adam， 1000轮训练。
    %梯度阈值设置为 1。指定初始学习率 0.01，在 125 轮训练后通过乘以因子 0.2 来降低学习率。
    options = trainingOptions('adam', ...
        'MaxEpochs',1000, ...
        'GradientThreshold',1, ...
        'InitialLearnRate',0.01, ...      
        'LearnRateSchedule','piecewise', ...%每当经过一定数量的时期时，学习率就会乘以一个系数。
        'LearnRateDropPeriod',400, ...      %乘法之间的纪元数由“ LearnRateDropPeriod”控制。可调
        'LearnRateDropFactor',0.15, ...      %乘法因子由参“ LearnRateDropFactor”控制，可调
        'Verbose',0,  ...  %如果将其设置为true，则有关训练进度的信息将被打印到命令窗口中。默认值为true。
        'Plots','training-progress');    %构建曲线图 将'training-progress'替换为none
    net = trainNetwork(XTrain,YTrain,layers,options); 
    
    %% 神经网络初始化
    net = predictAndUpdateState(net,XTrain);  %将新的XTrain数据用在网络上进行初始化网络状态
    [net,YPred] = predictAndUpdateState(net,YTrain(end));  %用训练的最后一步来进行预测第一个预测值，给定一个初始值。这是用预测值更新网络状态特有的。
    
    %% 进行用于验证神经网络的数据预测（用预测值更新网络状态）
    for i = 2:291  %从第二步开始，这里进行191次单步预测(191为用于验证的预测值，100为往后预测的值。一共291个）
        [net,YPred(:,i)] = predictAndUpdateState(net,YPred(:,i-1),'ExecutionEnvironment','cpu');  %predictAndUpdateState函数是一次预测一个值并更新网络状态
    end
    %% 验证神经网络
    YPred = sig*YPred + mu;      %使用先前计算的参数对预测去标准化。
    rmse = sqrt(mean((YPred(1:191)-dataTest).^2)) ;     %计算均方根误差 (RMSE)。
    subplot(2,1,1)
    plot(dataTrain(1:end))   %先画出前面2000个数据，是训练数据。
    hold on
    idx = 2001:(2000+191);   %为横坐标
    plot(idx,YPred(1:191),'.-')  %显示预测值
    hold off
    xlabel("Time")
    ylabel("Case")
    title("Forecast")
    legend(["Observed" "Forecast"])
    subplot(2,1,2)
    plot(data)
    xlabel("Time")
    ylabel("Case")
    title("Dataset")
    %% 继续往后预测2023年的数据
    figure(2)
    idx = 2001:(2000+291);   %为横坐标
    plot(idx,YPred(1:291),'.-')  %显示预测值
    hold off

[LSTM_matlab_]: https://blog.csdn.net/m0_56146217/article/details/123577068