深度神经网络初始化、正则化、梯度校验

叁歲伎倆 2023-06-02 07:48 55阅读 0赞

# 初始化 #

深度神经网络模型中，以单个神经元为例，该层（![l][]）的输入个数为n，其输出为：

![z=w\_1x\_1+w\_2x\_2+\\cdots+w\_nx\_n][z_w_1x_1_w_2x_2_cdots_w_nx_n]

![a=g(z)][a_g_z]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzODczNDMx_size_16_color_FFFFFF_t_70][]

这里忽略了常数项b。为了让z不会过大或者过小，思路是让w与n有关，且n越大，w应该越小才好。这样能够保证z不会过大。一种方法是在初始化w时，令其方差为![\\frac1n][frac1n]。激活函数是tanh，相应的python代码为：

parameters['W'] = np.random.randn(n[l], n[l - 1]) * np.sqrt(1 / n[l - 1])

激活函数是ReLU，权重w的初始化一般令其方差为![\\frac2n][frac2n]

# 正则化 #

L2正则化

![J = -\\frac\{1\}\{m\} \\sum\\limits\_\{i = 1\}^\{m\} \\large\{(\}\\small y^\{(i)\}\\log\\left(a^\{\[L\](i)\}\\right) + (1-y^\{(i)\})\\log\\left(1- a^\{\[L\](i)\}\\right) \\large\{)\}][J _ -_frac_1_m_ _sum_limits_i _ 1_m_ _large_small y_i_log_left_a_L_i_right_ _ _1-y_i_log_left_1- a_L_i_right_ _large]

![201910032312556.png][]

也可以表示为：

![J(w^\{\[1\]\},b^\{\[1\]\},\\cdots,w^\{\[L\]\},b^\{\[L\]\})=\\frac1m\\sum\_\{i=1\}^mL(\\hat y^\{(i)\},y^\{(i)\})+\\frac\{\\lambda\}\{2m\}\\sum\_\{l=1\}^L||w^\{\[l\]\}||^2][J_w_1_b_1_cdots_w_L_b_L_frac1m_sum_i_1_mL_hat y_i_y_i_frac_lambda_2m_sum_l_1_L_w_l_2]

![||w^\{\[l\]\}||^2=\\sum\_\{i=1\}^\{n^\{\[l\]\}\}\\sum\_\{j=1\}^\{n^\{\[l-1\]\}\}(w\_\{ij\}^\{\[l\]\})^2][w_l_2_sum_i_1_n_l_sum_j_1_n_l-1_w_ij_l_2]

![||w^\{\[l\]\}||][w_l]称为Frobenius范数，一个矩阵的Frobenius范数就是计算所有元素平方和再开方

python代码例子,在计算J成本函数时加上正则化成本，假设有w1,w2,w3：

L2_regularization_cost = lambd * (np.sum(np.square(W1)) + np.sum(np.square(W2)) + np.sum(np.square(W3))) / (2 * m)

在反向传播时，使用以下公式计算梯度

![\\frac\{d\}\{dW\} ( \\frac\{1\}\{2\}\\frac\{\\lambda\}\{m\} W^2) = \\frac\{\\lambda\}\{m\} W][frac_d_dW_ _ _frac_1_2_frac_lambda_m_ W_2_ _ _frac_lambda_m_ W]

![dw^\{\[l\]\}=dw^\{\[l\]\}\_\{before\}+\\frac\{\\lambda\}\{m\}w^\{\[l\]\}][dw_l_dw_l_before_frac_lambda_m_w_l]

python代码：

dW3 = (1 / m) * np.dot(dZ3, A2.T) + ((lambd * W3) / m)

# Dropout正则化 #

Dropout的原理就是每次迭代过程中随机将其中的一些节点失效。当我们关闭一些节点时，我们实际上修改了我们的模型。背后的想法是，在每次迭代时，我们都会训练一个只使用一部分神经元的不同模型。随着迭代次数的增加，我们的模型的节点会对其他特定节点的激活变得不那么敏感，因为其他节点可能在任何时候会失效。  
正向传播python代码：

D1 = np.random.rand(A1.shape[0], A1.shape[1])  # 步骤1：初始化矩阵D1 = np.random.rand(..., ...)
        D1 = D1 < keep_prob  # 步骤2：将D1的值转换为0或1（使用keep_prob作为阈值）
        A1 = A1 * D1  # 步骤3：舍弃A1的一些节点（将它的值变为0或False）
        A1 = A1 / keep_prob  # 步骤4：缩放未舍弃的节点(不为0)的值

除以 `keep_prob`。这样做的话我们通过缩放就在计算成本的时候仍然具有相同的期望值。

假设第l层有50个神经元，经过dropout后，有10个神经元停止工作，这样只有40神经元有作用。那么得到的al只相当于原来的80%。缩放后，能够尽可能保持al的期望值相比之前没有大的变化。

后向传播：

使用正向传播存储在缓存中的掩码D1，python代码

dA1 = dA1 * D1  # 步骤1：使用正向传播期间相同的节点，舍弃那些关闭的节点（因为任何数乘以0或者False都为0或者False）
        dA1 = dA1 / keep_prob  # 步骤2：缩放未舍弃的节点(不为0)的值

# 梯度检查 #

![\\theta^\{+\} = \\theta + \\varepsilon][theta_ _ _theta _ _varepsilon]

![\\theta^\{-\} = \\theta - \\varepsilon][theta_-_ _ _theta - _varepsilon]

![J^\{+\} = J(\\theta^\{+\})][J_ _ J_theta]

![J^\{-\} = J(\\theta^\{-\})][J_-_ _ J_theta_-]

![gradapprox = \\frac\{J^\{+\} - J^\{-\}\}\{2 \\varepsilon\}][gradapprox _ _frac_J_ - J_-_2 _varepsilon]

接下来，计算梯度的反向传播值，最后计算误差：

![difference = \\frac \{\\mid\\mid grad - gradapprox \\mid\\mid\_2\}\{\\mid\\mid grad \\mid\\mid\_2 + \\mid\\mid gradapprox \\mid\\mid\_2\}][difference _ _frac _mid_mid grad - gradapprox _mid_mid_2_mid_mid grad _mid_mid_2 _ _mid_mid gradapprox _mid_mid_2]

当difference小于![10^\{-7\}][10_-7]时，我们通常认为我们计算的结果是正确的。

python代码

def gradient_check(x,theta,epsilon=1e-7):
        """
        参数：
            x  - 一个实值输入
            theta  - 参数，也是一个实数
            epsilon  - 使用公式（3）计算输入的微小偏移以计算近似梯度
    
        返回：
            近似梯度和后向传播梯度之间的差异
        """
    
        #使用公式的计算gradapprox。
        thetaplus = theta + epsilon                               
        thetaminus = theta - epsilon                              
        J_plus = forward_propagation(x, thetaplus)                
        J_minus = forward_propagation(x, thetaminus)              
        gradapprox = (J_plus - J_minus) / (2 * epsilon)           
    
        #检查gradapprox是否足够接近backward_propagation（）的输出
        grad = backward_propagation(x, theta)
    
        numerator = np.linalg.norm(grad - gradapprox)                      
        denominator = np.linalg.norm(grad) + np.linalg.norm(gradapprox)    
        difference = numerator / denominator                               
    
        if difference < 1e-7:
            print("梯度检查：梯度正常!")
        else:
            print("梯度检查：梯度超出阈值!")
    
        return difference

[l]: https://private.codecogs.com/gif.latex?l
[z_w_1x_1_w_2x_2_cdots_w_nx_n]: https://private.codecogs.com/gif.latex?z%3Dw_1x_1&plus;w_2x_2&plus;%5Ccdots&plus;w_nx_n
[a_g_z]: https://private.codecogs.com/gif.latex?a%3Dg%28z%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzODczNDMx_size_16_color_FFFFFF_t_70]: /images/20230601/4521b7c4b44c4173b44ecd77783d030d.png
[frac1n]: https://private.codecogs.com/gif.latex?%5Cfrac1n
[frac2n]: https://private.codecogs.com/gif.latex?%5Cfrac2n
[J _ -_frac_1_m_ _sum_limits_i _ 1_m_ _large_small y_i_log_left_a_L_i_right_ _ _1-y_i_log_left_1- a_L_i_right_ _large]: https://private.codecogs.com/gif.latex?J%20%3D%20-%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Climits_%7Bi%20%3D%201%7D%5E%7Bm%7D%20%5Clarge%7B%28%7D%5Csmall%20y%5E%7B%28i%29%7D%5Clog%5Cleft%28a%5E%7B%5BL%5D%28i%29%7D%5Cright%29%20&plus;%20%281-y%5E%7B%28i%29%7D%29%5Clog%5Cleft%281-%20a%5E%7B%5BL%5D%28i%29%7D%5Cright%29%20%5Clarge%7B%29%7D
[201910032312556.png]: /images/20230601/7e2a96b7c3bf4c67bf0f7989211f5711.png
[J_w_1_b_1_cdots_w_L_b_L_frac1m_sum_i_1_mL_hat y_i_y_i_frac_lambda_2m_sum_l_1_L_w_l_2]: https://private.codecogs.com/gif.latex?J%28w%5E%7B%5B1%5D%7D%2Cb%5E%7B%5B1%5D%7D%2C%5Ccdots%2Cw%5E%7B%5BL%5D%7D%2Cb%5E%7B%5BL%5D%7D%29%3D%5Cfrac1m%5Csum_%7Bi%3D1%7D%5EmL%28%5Chat%20y%5E%7B%28i%29%7D%2Cy%5E%7B%28i%29%7D%29&plus;%5Cfrac%7B%5Clambda%7D%7B2m%7D%5Csum_%7Bl%3D1%7D%5EL%7C%7Cw%5E%7B%5Bl%5D%7D%7C%7C%5E2
[w_l_2_sum_i_1_n_l_sum_j_1_n_l-1_w_ij_l_2]: https://private.codecogs.com/gif.latex?%7C%7Cw%5E%7B%5Bl%5D%7D%7C%7C%5E2%3D%5Csum_%7Bi%3D1%7D%5E%7Bn%5E%7B%5Bl%5D%7D%7D%5Csum_%7Bj%3D1%7D%5E%7Bn%5E%7B%5Bl-1%5D%7D%7D%28w_%7Bij%7D%5E%7B%5Bl%5D%7D%29%5E2
[w_l]: https://private.codecogs.com/gif.latex?%7C%7Cw%5E%7B%5Bl%5D%7D%7C%7C
[frac_d_dW_ _ _frac_1_2_frac_lambda_m_ W_2_ _ _frac_lambda_m_ W]: https://private.codecogs.com/gif.latex?%5Cfrac%7Bd%7D%7BdW%7D%20%28%20%5Cfrac%7B1%7D%7B2%7D%5Cfrac%7B%5Clambda%7D%7Bm%7D%20W%5E2%29%20%3D%20%5Cfrac%7B%5Clambda%7D%7Bm%7D%20W
[dw_l_dw_l_before_frac_lambda_m_w_l]: https://private.codecogs.com/gif.latex?dw%5E%7B%5Bl%5D%7D%3Ddw%5E%7B%5Bl%5D%7D_%7Bbefore%7D&plus;%5Cfrac%7B%5Clambda%7D%7Bm%7Dw%5E%7B%5Bl%5D%7D
[theta_ _ _theta _ _varepsilon]: https://private.codecogs.com/gif.latex?%5Ctheta%5E%7B&plus;%7D%20%3D%20%5Ctheta%20&plus;%20%5Cvarepsilon
[theta_-_ _ _theta - _varepsilon]: https://private.codecogs.com/gif.latex?%5Ctheta%5E%7B-%7D%20%3D%20%5Ctheta%20-%20%5Cvarepsilon
[J_ _ J_theta]: https://private.codecogs.com/gif.latex?J%5E%7B&plus;%7D%20%3D%20J%28%5Ctheta%5E%7B&plus;%7D%29
[J_-_ _ J_theta_-]: https://private.codecogs.com/gif.latex?J%5E%7B-%7D%20%3D%20J%28%5Ctheta%5E%7B-%7D%29
[gradapprox _ _frac_J_ - J_-_2 _varepsilon]: https://private.codecogs.com/gif.latex?gradapprox%20%3D%20%5Cfrac%7BJ%5E%7B&plus;%7D%20-%20J%5E%7B-%7D%7D%7B2%20%5Cvarepsilon%7D
[difference _ _frac _mid_mid grad - gradapprox _mid_mid_2_mid_mid grad _mid_mid_2 _ _mid_mid gradapprox _mid_mid_2]: https://private.codecogs.com/gif.latex?difference%20%3D%20%5Cfrac%20%7B%5Cmid%5Cmid%20grad%20-%20gradapprox%20%5Cmid%5Cmid_2%7D%7B%5Cmid%5Cmid%20grad%20%5Cmid%5Cmid_2%20&plus;%20%5Cmid%5Cmid%20gradapprox%20%5Cmid%5Cmid_2%7D
[10_-7]: https://private.codecogs.com/gif.latex?10%5E%7B-7%7D