神经网络的优化方法总结

「爱情、让人受尽委屈。」 2023-07-09 14:28 9阅读 0赞

### 神经网络的优化方法总结 ###

*   *   *   *  优化神经网络一：使用正则化技巧提高模型的泛化能力
             *  优化神经网络二：梯度优化
             *  优化神经网络三：网络初始化技巧和超参数调优

由浅层的神经网络到层次较深的神经网络，单纯靠增加神经网络层数并不能有效提高模型的性能，此处将总结一些优化算法：

#### 优化神经网络一：使用正则化技巧提高模型的泛化能力 ####

常用的正则化方法如下所示：

*  L1、L2 正则化
 *  dropout 正则化
 *  Data Augmentation 增加训练样本
 *  Early stopping 选择合适的迭代训练次数

#### 优化神经网络二：梯度优化 ####

常用的梯度优化方法如下：

*  梯度下降
    
     *  Batch 梯度下降
     *  Mini-Batch梯度下降
     *  随机梯度下降 (SGD)
 *  动量梯度下降 (Momentum GD)
 *  Nesterw Momentum
 *  AdaGrad
 *  RMSprop
 *  Adam

#### 优化神经网络三：网络初始化技巧和超参数调优 ####

*  网络初始化技巧
    
     *  网络输入的标准化 (使各特征值的数量取值范围相同)
     *  权重 w 初始化
        
         *  让权重 W 的方差为 1 / n\[l-1\]
        
            W[l] = np.random.randn(n[l],n[l-1])*np.sqrt(1/n[l-1])
        
         *  让权重 W 的方差为 2 / n\[l-1\]
        
            W[l] = np.random.randn(n[l],n[l-1])*np.sqrt(2/n[l-1])
        
         *  让权重 W 的方差为 2 / n\[l−1\]⋅n\[l\]
        
            W[l] = np.random.randn(n[l],n[l-1])*np.sqrt(2/(n[l-1]*n[l]))
 *  超参数调试  
    深度神经网络需要调试的超参数较多，常见如下：
    
     *  学习因子 α
     *  动量梯度下降因子 β
     *  Adam 优化算法参数 β1、β2、ε
     *  神经网络层数
     *  各隐藏层神经元个数
     *  学习因子下降参数
     *  批量训练样本包含的样本个数
     *  L1、L2 正则化系数 λ