什么是深度学习

ゝ一纸荒年。 2022-03-17 14:00 435阅读 0赞

### 一、背景 ###

2006年，加拿大多伦多大学教授、机器学习领域的泰斗**Geoffrey Hinton**和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章动机在于建立、模拟人脑进行分析学习，文章有两个主要观点：

*  1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；
 *  2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
    
    > 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
    > 
    > Deep learning本身算是machine learning的一个分支，简单可以理解为neural network的发展。大约二三十年前，neural network曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了，原因包括以下几个方面：1）比较容易过拟合，参数比较难tune，而且需要不少trick；2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优；
    > 
    > 所以中间有大约20多年的时间，神经网络被关注很少，这段时间基本上是SVM和boosting算法的天下。但是，一个痴心的老先生Hinton，他坚持了下来，并最终（和其它人一起Bengio、Yann.lecun等）提成了一个实际可行的deep learning框架。

### 二、定义 ###

深度学习(Deep learning)是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：

*  1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；
 *  2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

###  三、**深度学习的训练过程** ###

为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。深度学习与传统的神经网络在训练机制上存在差异：

*  传统神经网络（这里作者主要指前向神经网络）中，采用的是**back propagation的方式**进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。
 *  deep learning整体上是一个**layer-wise的训练机制**。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）。
    
    > 如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合（因为深度网络的神经元和参数太多了）。
    > 
    > 2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，**一是每次训练一层网络（相当于参数的初始化），二是调优**，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x’尽可能一致。
    
    **具体的训练方法**是：
    
    1）**首先逐层构建单层神经元，这样每次都是训练一个单层网络**。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是feature learning过程）。
    
    > 使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）
    
    2）当所有层训练完后，**使用wake-sleep算法进行调优**。wake-sleep算法进行调优,是自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）
    
    将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其它层则变为了图模型。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒（wake）和睡（sleep）两个部分。
 *  （1）**wake阶段**：认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”。
 *  （2）**sleep阶段**：生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。

### **四、常见的深度学习算法包括**： ###

*  **受限波尔兹曼机**（Restricted Boltzmann Machine， RBN）
 *  **深度置信网络**（Deep Belief Networks，DBN）
 *  **卷积神经网络**（Convolutional Neural Network, CNN）
 *  **堆栈式自动编码器**（Stacked Auto-encoders，SAE）。