百面机器学习(10)循环神经网络RNN

谁践踏了优雅 2021-12-24 06:39 350阅读 0赞

目录

01 循环神经网络和卷积神经网络

02 RNN的梯度消失问题

03 RNN中的激活函数

04 长短期记忆网络

05 Seq2Seq模型

06 注意力机制


RNN很多领域:机器翻译、序列标注、图像描述、推荐系统、智能聊天机器人、自动作词作曲等

01 循环神经网络和卷积神经网络

(1)处理文本数据时,RNN与前馈神经网络相比有什么不同?

02 RNN的梯度消失问题

RNN为什么会出现梯度消失?有什么改进方法?

03 RNN中的激活函数

ReLU

04 长短期记忆网络

(1)LSTM如何实现长短期记忆功能?

(2)LSTM各模块激活函数

05 Seq2Seq模型

(1)什么是Seq2Seq模型?优缺点?
(2)Seq2Seq模型解码时,常用方法

06 注意力机制

Seq2Seq模型进入注意力机制的原因?为什么选用双向RNN?

发表评论

表情:
评论列表 (有 0 条评论,350人围观)

还没有评论,来说两句吧...

相关阅读

    相关 循环神经网络RNN

    对于人类而言,以前见过的事物会在脑海中留下记忆,虽然随后记忆会慢慢消失,但是每当经过提醒,人们往往可以重拾记忆。在神经网络中也是一样,之前介绍的CNN模型都是与时间序列无关的模