语言模型可以说是NLP中最基本的任务，无论是词向量，预训练模型，文本生成等任务中都带有语言模型的影子。
语言模型本质上是对一个自然世界中存在的句子建模，描述一个句子发生的概率，因此语言模型也是一个自回归的任务。
语言模型是一个上下文强依赖的任务，不仅需要捕获长距离的信息，还需要学到词之间的位置关系，从目前的技术来看，RNN系的模型在语言模型任务上的表现要优于transformer，主要原因还是因为Transformer在学习词位置关系时的能力弱于RNN，毕竟RNN是严格的从前到后循环依赖的。
RNN在语言模型任务中的表现是非常优秀的，而且RNN的结构和语言模型的任务特性也很好的切合。
但RNN的循环连接容易过拟合。
本片论文就是围绕这一点展开的研究，提出了很多中解决RNN过拟合的技术，这一类技术不仅可以用在语言模型中，也可以用在其他RNN建模的任务中。
LSTM作为RNN系列中最优秀的代表变体，论文就是在不改变LSTM的原有结构上，引入各种正则化技术，提升模型的泛化能力，改善语言模型的性能。
目录 1 深度学习简介 2 神经网络介绍 -------------------- 1 深度学习简介 在介绍深度学习之前，我们先看下这幅图：人工智能
目录 一、二、Tesnsflow入门 & 环境配置 & 认识Tensorflow 三、线程与队列与IO操作 神经网络基础知识 1.简单神经网
目录 前言 一、神经网络是什么？ 二、恶魔例题助你掌握神经网络 三. 网络自学习的神经网络 总结 系列文章目录 --------------------
Hopfield神经网络是一种循环神经网络模型，由一组互相连接的神经元组成。其具有如下特征： 所有神经元互相连接且不分层。 每个神经元既是输入单元又是输出单元。每
http://[blog.csdn.net/pipisorry/article/details/70919374][blog.csdn.net_pipisorry_articl
http://[blog.csdn.net/pipisorry/article/details/77776743][blog.csdn.net_pipisorry_articl
主要介绍吴恩达《深度学习》课程中《神经网络和深度学习》第一周：深度学习概论的神经网络内容。 什么是神经网络 ![这里写图片描述][20170901181337775]
1 神经网络与深度学习 1.3 神经网络基础之Python与向量化 上节课我们主要介绍了逻辑回归，以输出概率的形式来处理二分类问题。我们介绍了逻辑回归的Cost
1 神经网络与深度学习 1.5 深层神经网络 上节课我们主要介绍了浅层神经网络。首先介绍神经网络的基本结构，包括输入层，隐藏层和输出层。然后以简单的2 laye
淡淡的烟草味﹌
忘是亡心i
还没有评论，来说两句吧...