大数据与人工智能基础系列7 反向传导算法理论推导

àì夳堔傛蜴生んèń 2022-06-09 04:16 162阅读 0赞

# 文章来源：[http://ufldl.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95][http_ufldl.stanford.edu_wiki_index.php_E5_8F_8D_E5_90_91_E4_BC_A0_E5_AF_BC_E7_AE_97_E6_B3_95]    #

# 反向传导算法 #

假设我们有一个固定样本集 ![\\textstyle \\\{ (x^\{(1)\}, y^\{(1)\}), \\ldots, (x^\{(m)\}, y^\{(m)\}) \\\}][textstyle _ _x_1_ y_1_ _ldots_ _x_m_ y_m_]，它包含 ![\\textstyle m][textstyle m] 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ![\\textstyle (x,y)][textstyle _x_y]，其代价函数为：

![\\begin\{align\}J(W,b; x,y) = \\frac\{1\}\{2\} \\left\\| h\_\{W,b\}(x) - y \\right\\|^2.\\end\{align\}][begin_align_J_W_b_ x_y_ _ _frac_1_2_ _left_ h_W_b_x_ - y _right_2._end_align]

这是一个（二分之一的）方差代价函数。给定一个包含 ![\\textstyle m][textstyle m] 个样例的数据集，我们可以定义整体代价函数为：

![\\begin\{align\}J(W,b)&= \\left\[ \\frac\{1\}\{m\} \\sum\_\{i=1\}^m J(W,b;x^\{(i)\},y^\{(i)\}) \\right\]                       + \\frac\{\\lambda\}\{2\} \\sum\_\{l=1\}^\{n\_l-1\} \\; \\sum\_\{i=1\}^\{s\_l\} \\; \\sum\_\{j=1\}^\{s\_\{l+1\}\} \\left( W^\{(l)\}\_\{ji\} \\right)^2 \\\\&= \\left\[ \\frac\{1\}\{m\} \\sum\_\{i=1\}^m \\left( \\frac\{1\}\{2\} \\left\\| h\_\{W,b\}(x^\{(i)\}) - y^\{(i)\} \\right\\|^2 \\right) \\right\]                       + \\frac\{\\lambda\}\{2\} \\sum\_\{l=1\}^\{n\_l-1\} \\; \\sum\_\{i=1\}^\{s\_l\} \\; \\sum\_\{j=1\}^\{s\_\{l+1\}\} \\left( W^\{(l)\}\_\{ji\} \\right)^2\\end\{align\}][begin_align_J_W_b_ _left_ _frac_1_m_ _sum_i_1_m J_W_b_x_i_y_i_ _right_ _ _frac_lambda_2_ _sum_l_1_n_l-1_ _ _sum_i_1_s_l_ _ _sum_j_1_s_l_1_ _left_ W_l_ji_ _right_2 _ _left_ _frac_1_m_ _sum_i_1_m _left_ _frac_1_2_ _left_ h_W_b_x_i_ - y_i_ _right_2 _right_ _right_ _ _frac_lambda_2_ _sum_l_1_n_l-1_ _ _sum_i_1_s_l_ _ _sum_j_1_s_l_1_ _left_ W_l_ji_ _right_2_end_align]

以上关于![\\textstyle J(W,b)][textstyle J_W_b]定义中的第一项是一个均方差项。第二项是一个规则化项（也叫**权重衰减项**），其目的是减小权重的幅度，防止过度拟合。

\[注：通常权重衰减的计算并不使用偏置项 ![\\textstyle b^\{(l)\}\_i][textstyle b_l_i]，比如我们在 ![\\textstyle J(W, b)][textstyle J_W_b] 的定义中就没有使用。一般来说，将偏置项包含在权重衰减项中只会对最终的神经网络产生很小的影响。如果你在斯坦福选修过CS229（机器学习）课程，或者在YouTube上看过课程视频，你会发现这个权重衰减实际上是课上提到的贝叶斯规则化方法的变种。在贝叶斯规则化方法中，我们将高斯先验概率引入到参数中计算MAP（极大后验）估计（而不是极大似然估计）。\]

**权重衰减参数** ![\\textstyle \\lambda][textstyle _lambda] 用于控制公式中两项的相对重要性。在此重申一下这两个复杂函数的含义：![\\textstyle J(W,b;x,y)][textstyle J_W_b_x_y] 是针对单个样例计算得到的方差代价函数；![\\textstyle J(W,b)][textstyle J_W_b] 是整体样本代价函数，它包含权重衰减项。

以上的代价函数经常被用于分类和回归问题。在分类问题中，我们用 ![\\textstyle y = 0][textstyle y _ 0] 或 ![\\textstyle 1][textstyle 1]，来代表两种类型的标签（回想一下，这是因为 sigmoid激活函数的值域为 ![\\textstyle \[0,1\]][textstyle _0_1]；如果我们使用双曲正切型激活函数，那么应该选用 ![\\textstyle -1][textstyle -1] 和 ![\\textstyle +1][textstyle _1] 作为标签）。对于回归问题，我们首先要变换输出值域（译者注：也就是 ![\\textstyle y][textstyle y]），以保证其范围为 ![\\textstyle \[0,1\]][textstyle _0_1] （同样地，如果我们使用双曲正切型激活函数，要使输出值域为 ![\\textstyle \[-1,1\]][textstyle _-1_1]）。

我们的目标是针对参数 ![\\textstyle W][textstyle W] 和 ![\\textstyle b][textstyle b] 来求其函数 ![\\textstyle J(W,b)][textstyle J_W_b] 的最小值。为了求解神经网络，我们需要将每一个参数 ![\\textstyle W^\{(l)\}\_\{ij\}][textstyle W_l_ij] 和 ![\\textstyle b^\{(l)\}\_i][textstyle b_l_i] 初始化为一个很小的、接近零的随机值（比如说，使用正态分布 ![\\textstyle \{Normal\}(0,\\epsilon^2)][textstyle _Normal_0_epsilon_2] 生成的随机值，其中 ![\\textstyle \\epsilon][textstyle _epsilon] 设置为 ![\\textstyle 0.01][textstyle 0.01] ），之后对目标函数使用诸如批量梯度下降法的最优化算法。因为 ![\\textstyle J(W, b)][textstyle J_W_b] 是一个非凸函数，梯度下降法很可能会收敛到局部最优解；但是在实际应用中，梯度下降法通常能得到令人满意的结果。最后，需要再次强调的是，要将参数进行随机初始化，而不是全部置为 ![\\textstyle 0][textstyle 0]。如果所有参数都用相同的值作为初始值，那么所有隐藏层单元最终会得到与输入值有关的、相同的函数（也就是说，对于所有 ![\\textstyle i][textstyle i]，![\\textstyle W^\{(1)\}\_\{ij\}][textstyle W_1_ij]都会取相同的值，那么对于任何输入 ![\\textstyle x][textstyle x] 都会有：![\\textstyle a^\{(2)\}\_1 = a^\{(2)\}\_2 = a^\{(2)\}\_3 = \\ldots][textstyle a_2_1 _ a_2_2 _ a_2_3 _ _ldots] ）。随机初始化的目的是使**对称失效**。

梯度下降法中每一次迭代都按照如下公式对参数 ![\\textstyle W][textstyle W] 和![\\textstyle b][textstyle b] 进行更新：

![\\begin\{align\}W\_\{ij\}^\{(l)\} &= W\_\{ij\}^\{(l)\} - \\alpha \\frac\{\\partial\}\{\\partial W\_\{ij\}^\{(l)\}\} J(W,b) \\\\b\_\{i\}^\{(l)\} &= b\_\{i\}^\{(l)\} - \\alpha \\frac\{\\partial\}\{\\partial b\_\{i\}^\{(l)\}\} J(W,b)\\end\{align\}][begin_align_W_ij_l_ _ W_ij_l_ - _alpha _frac_partial_partial W_ij_l_ J_W_b_ _b_i_l_ _ b_i_l_ - _alpha _frac_partial_partial b_i_l_ J_W_b_end_align]

其中 ![\\textstyle \\alpha][textstyle _alpha] 是学习速率。其中关键步骤是计算偏导数。我们现在来讲一下**反向传播**算法，它是计算偏导数的一种有效方法。

我们首先来讲一下如何使用反向传播算法来计算 ![\\textstyle \\frac\{\\partial\}\{\\partial W\_\{ij\}^\{(l)\}\} J(W,b; x, y)][textstyle _frac_partial_partial W_ij_l_ J_W_b_ x_ y] 和 ![\\textstyle \\frac\{\\partial\}\{\\partial b\_\{i\}^\{(l)\}\} J(W,b; x, y)][textstyle _frac_partial_partial b_i_l_ J_W_b_ x_ y]，这两项是单个样例 ![\\textstyle (x,y)][textstyle _x_y] 的代价函数 ![\\textstyle J(W,b;x,y)][textstyle J_W_b_x_y] 的偏导数。一旦我们求出该偏导数，就可以推导出整体代价函数 ![\\textstyle J(W,b)][textstyle J_W_b] 的偏导数：

![\\begin\{align\}\\frac\{\\partial\}\{\\partial W\_\{ij\}^\{(l)\}\} J(W,b) &=\\left\[ \\frac\{1\}\{m\} \\sum\_\{i=1\}^m \\frac\{\\partial\}\{\\partial W\_\{ij\}^\{(l)\}\} J(W,b; x^\{(i)\}, y^\{(i)\}) \\right\] + \\lambda W\_\{ij\}^\{(l)\} \\\\\\frac\{\\partial\}\{\\partial b\_\{i\}^\{(l)\}\} J(W,b) &=\\frac\{1\}\{m\}\\sum\_\{i=1\}^m \\frac\{\\partial\}\{\\partial b\_\{i\}^\{(l)\}\} J(W,b; x^\{(i)\}, y^\{(i)\})\\end\{align\}][begin_align_frac_partial_partial W_ij_l_ J_W_b_ _left_ _frac_1_m_ _sum_i_1_m _frac_partial_partial W_ij_l_ J_W_b_ x_i_ y_i_ _right_ _ _lambda W_ij_l_ _frac_partial_partial b_i_l_ J_W_b_ _frac_1_m_sum_i_1_m _frac_partial_partial b_i_l_ J_W_b_ x_i_ y_i_end_align]

以上两行公式稍有不同，第一行比第二行多出一项，是因为权重衰减是作用于 ![\\textstyle W][textstyle W] 而不是 ![\\textstyle b][textstyle b]。

反向传播算法的思路如下：给定一个样例 ![\\textstyle (x,y)][textstyle _x_y]，我们首先进行“前向传导”运算，计算出网络中所有的激活值，包括 ![\\textstyle h\_\{W,b\}(x)][textstyle h_W_b_x] 的输出值。之后，针对第 ![\\textstyle l][textstyle l] 层的每一个节点 ![\\textstyle i][textstyle i]，我们计算出其“残差” ![\\textstyle \\delta^\{(l)\}\_i][textstyle _delta_l_i]，该残差表明了该节点对最终输出值的残差产生了多少影响。对于最终的输出节点，我们可以直接算出网络产生的激活值与实际值之间的差距，我们将这个差距定义为 ![\\textstyle \\delta^\{(n\_l)\}\_i][textstyle _delta_n_l_i] （第 ![\\textstyle n\_l][textstyle n_l] 层表示输出层）。对于隐藏单元我们如何处理呢？我们将基于节点（译者注：第 ![\\textstyle l+1][textstyle l_1] 层节点）残差的加权平均值计算 ![\\textstyle \\delta^\{(l)\}\_i][textstyle _delta_l_i]，这些节点以 ![\\textstyle a^\{(l)\}\_i][textstyle a_l_i] 作为输入。下面将给出反向传导算法的细节：

1.  进行前馈传导计算，利用前向传导公式，得到 ![\\textstyle L\_2, L\_3, \\ldots][textstyle L_2_ L_3_ _ldots] 直到输出层 ![\\textstyle L\_\{n\_l\}][textstyle L_n_l] 的激活值。
2.  对于第 ![\\textstyle n\_l][textstyle n_l] 层（输出层）的每个输出单元 ![\\textstyle i][textstyle i]，我们根据以下公式计算残差：
    
    ![\\begin\{align\}\\delta^\{(n\_l)\}\_i= \\frac\{\\partial\}\{\\partial z^\{(n\_l)\}\_i\} \\;\\;        \\frac\{1\}\{2\} \\left\\|y - h\_\{W,b\}(x)\\right\\|^2 = - (y\_i - a^\{(n\_l)\}\_i) \\cdot f'(z^\{(n\_l)\}\_i)\\end\{align\}][begin_align_delta_n_l_i_ _frac_partial_partial z_n_l_i_ _ _frac_1_2_ _left_y - h_W_b_x_right_2 _ - _y_i - a_n_l_i_ _cdot f_z_n_l_i_end_align]
    
    \[译者注：
    
    ![\\begin\{align\}\\delta^\{(n\_l)\}\_i &= \\frac\{\\partial\}\{\\partial z^\{n\_l\}\_i\}J(W,b;x,y) = \\frac\{\\partial\}\{\\partial z^\{n\_l\}\_i\}\\frac\{1\}\{2\} \\left\\|y - h\_\{W,b\}(x)\\right\\|^2 \\\\ &= \\frac\{\\partial\}\{\\partial z^\{n\_l\}\_i\}\\frac\{1\}\{2\} \\sum\_\{j=1\}^\{S\_\{n\_l\}\} (y\_j-a\_j^\{(n\_l)\})^2 = \\frac\{\\partial\}\{\\partial z^\{n\_l\}\_i\}\\frac\{1\}\{2\} \\sum\_\{j=1\}^\{S\_\{n\_l\}\} (y\_j-f(z\_j^\{(n\_l)\}))^2 \\\\ &= - (y\_i - f(z\_i^\{(n\_l)\})) \\cdot f'(z^\{(n\_l)\}\_i) = - (y\_i - a^\{(n\_l)\}\_i) \\cdot f'(z^\{(n\_l)\}\_i)\\end\{align\}][begin_align_delta_n_l_i _ _frac_partial_partial z_n_l_i_J_W_b_x_y_ _ _frac_partial_partial z_n_l_i_frac_1_2_ _left_y - h_W_b_x_right_2 _ _ _frac_partial_partial z_n_l_i_frac_1_2_ _sum_j_1_S_n_l_ _y_j-a_j_n_l_2 _ _frac_partial_partial z_n_l_i_frac_1_2_ _sum_j_1_S_n_l_ _y_j-f_z_j_n_l_2 _ _ - _y_i - f_z_i_n_l_ _cdot f_z_n_l_i_ _ - _y_i - a_n_l_i_ _cdot f_z_n_l_i_end_align]
    
    \]
3.  对 ![\\textstyle l = n\_l-1, n\_l-2, n\_l-3, \\ldots, 2][textstyle l _ n_l-1_ n_l-2_ n_l-3_ _ldots_ 2] 的各个层，第 ![\\textstyle l][textstyle l] 层的第 ![\\textstyle i][textstyle i] 个节点的残差计算方法如下：
    
    ![\\delta^\{(l)\}\_i = \\left( \\sum\_\{j=1\}^\{s\_\{l+1\}\} W^\{(l)\}\_\{ji\} \\delta^\{(l+1)\}\_j \\right) f'(z^\{(l)\}\_i)][delta_l_i _ _left_ _sum_j_1_s_l_1_ W_l_ji_ _delta_l_1_j _right_ f_z_l_i]
    
    \{译者注：
    
    ![\\begin\{align\}\\delta^\{(n\_l-1)\}\_i &=\\frac\{\\partial\}\{\\partial z^\{n\_l-1\}\_i\}J(W,b;x,y) = \\frac\{\\partial\}\{\\partial z^\{n\_l-1\}\_i\}\\frac\{1\}\{2\} \\left\\|y - h\_\{W,b\}(x)\\right\\|^2  = \\frac\{\\partial\}\{\\partial z^\{n\_l-1\}\_i\}\\frac\{1\}\{2\} \\sum\_\{j=1\}^\{S\_\{n\_l\}\}(y\_j-a\_j^\{(n\_l)\})^2 \\\\&= \\frac\{1\}\{2\} \\sum\_\{j=1\}^\{S\_\{n\_l\}\}\\frac\{\\partial\}\{\\partial z^\{n\_l-1\}\_i\}(y\_j-a\_j^\{(n\_l)\})^2 = \\frac\{1\}\{2\} \\sum\_\{j=1\}^\{S\_\{n\_l\}\}\\frac\{\\partial\}\{\\partial z^\{n\_l-1\}\_i\}(y\_j-f(z\_j^\{(n\_l)\}))^2 \\\\&= \\sum\_\{j=1\}^\{S\_\{n\_l\}\}-(y\_j-f(z\_j^\{(n\_l)\})) \\cdot \\frac\{\\partial\}\{\\partial z\_i^\{(n\_l-1)\}\}f(z\_j^\{(n\_l)\}) = \\sum\_\{j=1\}^\{S\_\{n\_l\}\}-(y\_j-f(z\_j^\{(n\_l)\})) \\cdot  f'(z\_j^\{(n\_l)\}) \\cdot \\frac\{\\partial z\_j^\{(n\_l)\}\}\{\\partial z\_i^\{(n\_l-1)\}\} \\\\&= \\sum\_\{j=1\}^\{S\_\{n\_l\}\} \\delta\_j^\{(n\_l)\} \\cdot \\frac\{\\partial z\_j^\{(n\_l)\}\}\{\\partial z\_i^\{n\_l-1\}\} = \\sum\_\{j=1\}^\{S\_\{n\_l\}\} \\left(\\delta\_j^\{(n\_l)\} \\cdot \\frac\{\\partial\}\{\\partial z\_i^\{n\_l-1\}\}\\sum\_\{k=1\}^\{S\_\{n\_l-1\}\}f(z\_k^\{n\_l-1\}) \\cdot W\_\{jk\}^\{n\_l-1\}\\right) \\\\&= \\sum\_\{j=1\}^\{S\_\{n\_l\}\} \\delta\_j^\{(n\_l)\} \\cdot  W\_\{ji\}^\{n\_l-1\} \\cdot f'(z\_i^\{n\_l-1\}) = \\left(\\sum\_\{j=1\}^\{S\_\{n\_l\}\}W\_\{ji\}^\{n\_l-1\}\\delta\_j^\{(n\_l)\}\\right)f'(z\_i^\{n\_l-1\})\\end\{align\}][begin_align_delta_n_l-1_i _frac_partial_partial z_n_l-1_i_J_W_b_x_y_ _ _frac_partial_partial z_n_l-1_i_frac_1_2_ _left_y - h_W_b_x_right_2 _ _frac_partial_partial z_n_l-1_i_frac_1_2_ _sum_j_1_S_n_l_y_j-a_j_n_l_2 _ _frac_1_2_ _sum_j_1_S_n_l_frac_partial_partial z_n_l-1_i_y_j-a_j_n_l_2 _ _frac_1_2_ _sum_j_1_S_n_l_frac_partial_partial z_n_l-1_i_y_j-f_z_j_n_l_2 _ _sum_j_1_S_n_l_-_y_j-f_z_j_n_l_ _cdot _frac_partial_partial z_i_n_l-1_f_z_j_n_l_ _ _sum_j_1_S_n_l_-_y_j-f_z_j_n_l_ _cdot f_z_j_n_l_ _cdot _frac_partial z_j_n_l_partial z_i_n_l-1_ _ _sum_j_1_S_n_l_ _delta_j_n_l_ _cdot _frac_partial z_j_n_l_partial z_i_n_l-1_ _ _sum_j_1_S_n_l_ _left_delta_j_n_l_ _cdot _frac_partial_partial z_i_n_l-1_sum_k_1_S_n_l-1_f_z_k_n_l-1_ _cdot W_jk_n_l-1_right_ _ _sum_j_1_S_n_l_ _delta_j_n_l_ _cdot W_ji_n_l-1_ _cdot f_z_i_n_l-1_ _ _left_sum_j_1_S_n_l_W_ji_n_l-1_delta_j_n_l_right_f_z_i_n_l-1_end_align]
    
    将上式中的![\\textstyle n\_l-1][textstyle n_l-1]与![\\textstyle n\_l][textstyle n_l]的关系替换为![\\textstyle l][textstyle l]与![\\textstyle l+1][textstyle l_1]的关系，就可以得到：
    
    ![\\delta^\{(l)\}\_i = \\left( \\sum\_\{j=1\}^\{s\_\{l+1\}\} W^\{(l)\}\_\{ji\} \\delta^\{(l+1)\}\_j \\right) f'(z^\{(l)\}\_i)][delta_l_i _ _left_ _sum_j_1_s_l_1_ W_l_ji_ _delta_l_1_j _right_ f_z_l_i]
    
    以上逐次从后向前求导的过程即为“反向传导”的本意所在。 \]
4.  计算我们需要的偏导数，计算方法如下：
    
    ![\\begin\{align\}\\frac\{\\partial\}\{\\partial W\_\{ij\}^\{(l)\}\} J(W,b; x, y) &= a^\{(l)\}\_j \\delta\_i^\{(l+1)\} \\\\\\frac\{\\partial\}\{\\partial b\_\{i\}^\{(l)\}\} J(W,b; x, y) &= \\delta\_i^\{(l+1)\}.\\end\{align\}][begin_align_frac_partial_partial W_ij_l_ J_W_b_ x_ y_ _ a_l_j _delta_i_l_1_ _frac_partial_partial b_i_l_ J_W_b_ x_ y_ _ _delta_i_l_1_._end_align]

最后，我们用矩阵-向量表示法重写以上算法。我们使用“![\\textstyle \\bullet][textstyle _bullet]” 表示向量乘积运算符（在Matlab或Octave里用“.\*”表示，也称作阿达马乘积）。若 ![\\textstyle a = b \\bullet c][textstyle a _ b _bullet c]，则 ![\\textstyle a\_i = b\_ic\_i][textstyle a_i _ b_ic_i]。在上一个教程中我们扩展了 ![\\textstyle f(\\cdot)][textstyle f_cdot] 的定义，使其包含向量运算，这里我们也对偏导数 ![\\textstyle f'(\\cdot)][textstyle f_cdot 1] 也做了同样的处理（于是又有 ![\\textstyle f'(\[z\_1, z\_2, z\_3\]) = \[f'(z\_1), f'(z\_2), f'(z\_3)\]][textstyle f_z_1_ z_2_ z_3_ _ _f_z_1_ f_z_2_ f_z_3] ）。

那么，反向传播算法可表示为以下几个步骤：

1.  进行前馈传导计算，利用前向传导公式，得到 ![\\textstyle L\_2, L\_3, \\ldots][textstyle L_2_ L_3_ _ldots]直到输出层 ![\\textstyle L\_\{n\_l\}][textstyle L_n_l] 的激活值。
2.  对输出层（第 ![\\textstyle n\_l][textstyle n_l] 层），计算：
    
    ![\\begin\{align\}\\delta^\{(n\_l)\}= - (y - a^\{(n\_l)\}) \\bullet f'(z^\{(n\_l)\})\\end\{align\}][begin_align_delta_n_l_ - _y - a_n_l_ _bullet f_z_n_l_end_align]
3.  对于 ![\\textstyle l = n\_l-1, n\_l-2, n\_l-3, \\ldots, 2][textstyle l _ n_l-1_ n_l-2_ n_l-3_ _ldots_ 2] 的各层，计算：
    
    ![\\begin\{align\}\\delta^\{(l)\} = \\left((W^\{(l)\})^T \\delta^\{(l+1)\}\\right) \\bullet f'(z^\{(l)\})\\end\{align\}][begin_align_delta_l_ _ _left_W_l_T _delta_l_1_right_ _bullet f_z_l_end_align]
4.  计算最终需要的偏导数值：
    
    ![\\begin\{align\}\\nabla\_\{W^\{(l)\}\} J(W,b;x,y) &= \\delta^\{(l+1)\} (a^\{(l)\})^T, \\\\\\nabla\_\{b^\{(l)\}\} J(W,b;x,y) &= \\delta^\{(l+1)\}.\\end\{align\}][begin_align_nabla_W_l_ J_W_b_x_y_ _ _delta_l_1_ _a_l_T_ _nabla_b_l_ J_W_b_x_y_ _ _delta_l_1_._end_align]

**实现中应注意：**在以上的第2步和第3步中，我们需要为每一个 ![\\textstyle i][textstyle i] 值计算其 ![\\textstyle f'(z^\{(l)\}\_i)][textstyle f_z_l_i]。假设 ![\\textstyle f(z)][textstyle f_z] 是sigmoid函数，并且我们已经在前向传导运算中得到了 ![\\textstyle a^\{(l)\}\_i][textstyle a_l_i]。那么，使用我们早先推导出的 ![\\textstyle f'(z)][textstyle f_z 1]表达式，就可以计算得到 ![\\textstyle f'(z^\{(l)\}\_i) = a^\{(l)\}\_i (1- a^\{(l)\}\_i)][textstyle f_z_l_i_ _ a_l_i _1- a_l_i]。

最后，我们将对梯度下降算法做个全面总结。在下面的伪代码中，![\\textstyle \\Delta W^\{(l)\}][textstyle _Delta W_l] 是一个与矩阵 ![\\textstyle W^\{(l)\}][textstyle W_l] 维度相同的矩阵，![\\textstyle \\Delta b^\{(l)\}][textstyle _Delta b_l] 是一个与 ![\\textstyle b^\{(l)\}][textstyle b_l] 维度相同的向量。注意这里“![\\textstyle \\Delta W^\{(l)\}][textstyle _Delta W_l]”是一个矩阵，而不是“![\\textstyle \\Delta][textstyle _Delta] 与 ![\\textstyle W^\{(l)\}][textstyle W_l] 相乘”。下面，我们实现批量梯度下降法中的一次迭代：

1.  对于所有 ![\\textstyle l][textstyle l]，令 ![\\textstyle \\Delta W^\{(l)\} := 0][textstyle _Delta W_l_ 0] , ![\\textstyle \\Delta b^\{(l)\} := 0][textstyle _Delta b_l_ 0] （设置为全零矩阵或全零向量）
2.  对于 ![\\textstyle i = 1][textstyle i _ 1] 到 ![\\textstyle m][textstyle m]，
    
    1.  使用反向传播算法计算 ![\\textstyle \\nabla\_\{W^\{(l)\}\} J(W,b;x,y)][textstyle _nabla_W_l_ J_W_b_x_y] 和 ![\\textstyle \\nabla\_\{b^\{(l)\}\} J(W,b;x,y)][textstyle _nabla_b_l_ J_W_b_x_y]。
    2.  计算 ![\\textstyle \\Delta W^\{(l)\} := \\Delta W^\{(l)\} + \\nabla\_\{W^\{(l)\}\} J(W,b;x,y)][textstyle _Delta W_l_ _Delta W_l_ _ _nabla_W_l_ J_W_b_x_y]。
    3.  计算 ![\\textstyle \\Delta b^\{(l)\} := \\Delta b^\{(l)\} + \\nabla\_\{b^\{(l)\}\} J(W,b;x,y)][textstyle _Delta b_l_ _Delta b_l_ _ _nabla_b_l_ J_W_b_x_y]。
3.  更新权重参数：
    
    ![\\begin\{align\}W^\{(l)\} &= W^\{(l)\} - \\alpha \\left\[ \\left(\\frac\{1\}\{m\} \\Delta W^\{(l)\} \\right) + \\lambda W^\{(l)\}\\right\] \\\\b^\{(l)\} &= b^\{(l)\} - \\alpha \\left\[\\frac\{1\}\{m\} \\Delta b^\{(l)\}\\right\]\\end\{align\}][begin_align_W_l_ _ W_l_ - _alpha _left_ _left_frac_1_m_ _Delta W_l_ _right_ _ _lambda W_l_right_ _b_l_ _ b_l_ - _alpha _left_frac_1_m_ _Delta b_l_right_end_align]

现在，我们可以重复梯度下降法的迭代步骤来减小代价函数 ![\\textstyle J(W,b)][textstyle J_W_b] 的值，进而求解我们的神经网络。

## 中英文对照 ##

反向传播算法 Backpropagation Algorithm

（批量）梯度下降法 (batch) gradient descent

（整体）代价函数 (overall) cost function

方差 squared-error

均方差 average sum-of-squares error

规则化项 regularization term

权重衰减 weight decay

偏置项 bias terms

贝叶斯规则化方法 Bayesian regularization method

高斯先验概率 Gaussian prior

极大后验估计 MAP

极大似然估计 maximum likelihood estimation

激活函数 activation function

双曲正切函数 tanh function

非凸函数 non-convex function

隐藏层单元 hidden (layer) units

对称失效 symmetry breaking

学习速率 learning rate

前向传导 forward pass

假设值 hypothesis

残差 error term

加权平均值 weighted average

前馈传导 feedforward pass

阿达马乘积 Hadamard product

前向传播 forward propagation

## 中文译者 ##

王方（fangkey@gmail.com），林锋（xlfg@yeah.net），许利杰（csxulijie@gmail.com）

[http_ufldl.stanford.edu_wiki_index.php_E5_8F_8D_E5_90_91_E4_BC_A0_E5_AF_BC_E7_AE_97_E6_B3_95]: http://ufldl.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95
[textstyle _ _x_1_ y_1_ _ldots_ _x_m_ y_m_]: http://ufldl.stanford.edu/wiki/images/math/b/4/4/b449e6d375809abbc4097d2c55e9f8c0.png
[textstyle m]: /images/20220609/4140d3cd7f5a4f7e90b77cef040ad9ca.png
[textstyle _x_y]: http://ufldl.stanford.edu/wiki/images/math/0/d/c/0dc6f65ba6022a9a2f5ce13473eb35e8.png
[begin_align_J_W_b_ x_y_ _ _frac_1_2_ _left_ h_W_b_x_ - y _right_2._end_align]: http://ufldl.stanford.edu/wiki/images/math/0/2/9/029cdd402b83ee43c7e9a900dccd675a.png
[begin_align_J_W_b_ _left_ _frac_1_m_ _sum_i_1_m J_W_b_x_i_y_i_ _right_ _ _frac_lambda_2_ _sum_l_1_n_l-1_ _ _sum_i_1_s_l_ _ _sum_j_1_s_l_1_ _left_ W_l_ji_ _right_2 _ _left_ _frac_1_m_ _sum_i_1_m _left_ _frac_1_2_ _left_ h_W_b_x_i_ - y_i_ _right_2 _right_ _right_ _ _frac_lambda_2_ _sum_l_1_n_l-1_ _ _sum_i_1_s_l_ _ _sum_j_1_s_l_1_ _left_ W_l_ji_ _right_2_end_align]: /images/20220609/ff3c81dc07d94431807751f5c71d6301.png
[textstyle J_W_b]: /images/20220609/2fd8a6c620594bbe9c9823b187d61bbe.png
[textstyle b_l_i]: http://ufldl.stanford.edu/wiki/images/math/4/c/7/4c786c16575b63bbb554254725b6b648.png
[textstyle _lambda]: http://ufldl.stanford.edu/wiki/images/math/d/d/f/ddf8905bd6bfeba5cfd2936466d4139e.png
[textstyle J_W_b_x_y]: http://ufldl.stanford.edu/wiki/images/math/6/7/b/67b844ee86f32de53bab325b8a76a94f.png
[textstyle y _ 0]: http://ufldl.stanford.edu/wiki/images/math/b/5/2/b52c56aff08fc87a9ce5b9439200906c.png
[textstyle 1]: http://ufldl.stanford.edu/wiki/images/math/6/e/9/6e924e04b5c9d4c5be131609a038b821.png
[textstyle _0_1]: http://ufldl.stanford.edu/wiki/images/math/8/4/2/84235d31ac83fe764546463aba7acc0e.png
[textstyle -1]: http://ufldl.stanford.edu/wiki/images/math/0/f/a/0fa78f9ce83744e1651c9d729c2d19b6.png
[textstyle _1]: http://ufldl.stanford.edu/wiki/images/math/d/c/b/dcb8dd3d14a2c0aa9b06ec6ce4ec0d59.png
[textstyle y]: http://ufldl.stanford.edu/wiki/images/math/c/8/1/c81e76c28ed991b22b8c1bb8fa392701.png
[textstyle _-1_1]: /images/20220609/f2c738e5a6e045de97c3aa3c366cfcf4.png
[textstyle W]: http://ufldl.stanford.edu/wiki/images/math/8/c/9/8c9cb254a5e388f2bcaf294e52d745a6.png
[textstyle b]: /images/20220609/05349e09891347f4b809c8e1f3237a82.png
[textstyle W_l_ij]: http://ufldl.stanford.edu/wiki/images/math/d/f/e/dfe43c64e3c42ea4ff1774fc82b87805.png
[textstyle _Normal_0_epsilon_2]: http://ufldl.stanford.edu/wiki/images/math/b/1/9/b19e677536c9c7b9da542e4d36c07001.png
[textstyle _epsilon]: http://ufldl.stanford.edu/wiki/images/math/a/8/e/a8eae7b5e90c024c40de690158e0e6b1.png
[textstyle 0.01]: http://ufldl.stanford.edu/wiki/images/math/6/0/e/60ec211aca4ac585f1c0ef4de8e08f39.png
[textstyle 0]: http://ufldl.stanford.edu/wiki/images/math/9/6/f/96f7362eaaa825744141afe4d5c2d340.png
[textstyle i]: /images/20220609/48313ba71d7b454292e82ab4e7a40a97.png
[textstyle W_1_ij]: http://ufldl.stanford.edu/wiki/images/math/8/2/d/82d79561e2994ccba3e4fe2cc4d527e5.png
[textstyle x]: http://ufldl.stanford.edu/wiki/images/math/f/6/c/f6c0f8758a1eb9c99c0bbe309ff2c5a5.png
[textstyle a_2_1 _ a_2_2 _ a_2_3 _ _ldots]: /images/20220609/e472f7adda574ad2b1b45914405bf8ac.png
[begin_align_W_ij_l_ _ W_ij_l_ - _alpha _frac_partial_partial W_ij_l_ J_W_b_ _b_i_l_ _ b_i_l_ - _alpha _frac_partial_partial b_i_l_ J_W_b_end_align]: /images/20220609/ddff583dbab34ee1b74f94241973f07b.png
[textstyle _alpha]: /images/20220609/a0acb39eafb04f16b23c9b7fa596190a.png
[textstyle _frac_partial_partial W_ij_l_ J_W_b_ x_ y]: http://ufldl.stanford.edu/wiki/images/math/5/f/b/5fb8e62e296ad365a076617b04d66d03.png
[textstyle _frac_partial_partial b_i_l_ J_W_b_ x_ y]: http://ufldl.stanford.edu/wiki/images/math/c/a/4/ca49d387f9ead91008f9688b3880e91b.png
[begin_align_frac_partial_partial W_ij_l_ J_W_b_ _left_ _frac_1_m_ _sum_i_1_m _frac_partial_partial W_ij_l_ J_W_b_ x_i_ y_i_ _right_ _ _lambda W_ij_l_ _frac_partial_partial b_i_l_ J_W_b_ _frac_1_m_sum_i_1_m _frac_partial_partial b_i_l_ J_W_b_ x_i_ y_i_end_align]: /images/20220609/636a9f287f314ce8a7e9123f1d0e291d.png
[textstyle h_W_b_x]: http://ufldl.stanford.edu/wiki/images/math/5/8/d/58d3a4fe4ad68b333b180071dd46db82.png
[textstyle l]: http://ufldl.stanford.edu/wiki/images/math/b/a/0/ba0593b3db2fa8535b077516f4b0d70b.png
[textstyle _delta_l_i]: http://ufldl.stanford.edu/wiki/images/math/5/8/5/585c0367cc7e9eb2cc244888c503e04e.png
[textstyle _delta_n_l_i]: http://ufldl.stanford.edu/wiki/images/math/e/e/8/ee873581c1e0d83e6e235f3240671f67.png
[textstyle n_l]: /images/20220609/8b57bc0532ff40309231a2976c6eb2e4.png
[textstyle l_1]: /images/20220609/bba90b33d2964f609b4e45580730204e.png
[textstyle a_l_i]: /images/20220609/cc4ba75a6ccd4e54aaa1a3f9672e3b55.png
[textstyle L_2_ L_3_ _ldots]: http://ufldl.stanford.edu/wiki/images/math/a/2/e/a2ec4c7c0fce868f4b5275e8ce307469.png
[textstyle L_n_l]: /images/20220609/6a97658c7d694c36ac1d602e7b9e9736.png
[begin_align_delta_n_l_i_ _frac_partial_partial z_n_l_i_ _ _frac_1_2_ _left_y - h_W_b_x_right_2 _ - _y_i - a_n_l_i_ _cdot f_z_n_l_i_end_align]: /images/20220609/87c21e08c0ee407d822d33114e6ac187.png
[begin_align_delta_n_l_i _ _frac_partial_partial z_n_l_i_J_W_b_x_y_ _ _frac_partial_partial z_n_l_i_frac_1_2_ _left_y - h_W_b_x_right_2 _ _ _frac_partial_partial z_n_l_i_frac_1_2_ _sum_j_1_S_n_l_ _y_j-a_j_n_l_2 _ _frac_partial_partial z_n_l_i_frac_1_2_ _sum_j_1_S_n_l_ _y_j-f_z_j_n_l_2 _ _ - _y_i - f_z_i_n_l_ _cdot f_z_n_l_i_ _ - _y_i - a_n_l_i_ _cdot f_z_n_l_i_end_align]: /images/20220609/7e2aca2ed3a847f88aa1047b0c43a448.png
[textstyle l _ n_l-1_ n_l-2_ n_l-3_ _ldots_ 2]: /images/20220609/473787539a404d7c886930b4a3641e6e.png
[delta_l_i _ _left_ _sum_j_1_s_l_1_ W_l_ji_ _delta_l_1_j _right_ f_z_l_i]: /images/20220609/c9b0af6f22234aee8de92d2ffe038802.png
[begin_align_delta_n_l-1_i _frac_partial_partial z_n_l-1_i_J_W_b_x_y_ _ _frac_partial_partial z_n_l-1_i_frac_1_2_ _left_y - h_W_b_x_right_2 _ _frac_partial_partial z_n_l-1_i_frac_1_2_ _sum_j_1_S_n_l_y_j-a_j_n_l_2 _ _frac_1_2_ _sum_j_1_S_n_l_frac_partial_partial z_n_l-1_i_y_j-a_j_n_l_2 _ _frac_1_2_ _sum_j_1_S_n_l_frac_partial_partial z_n_l-1_i_y_j-f_z_j_n_l_2 _ _sum_j_1_S_n_l_-_y_j-f_z_j_n_l_ _cdot _frac_partial_partial z_i_n_l-1_f_z_j_n_l_ _ _sum_j_1_S_n_l_-_y_j-f_z_j_n_l_ _cdot f_z_j_n_l_ _cdot _frac_partial z_j_n_l_partial z_i_n_l-1_ _ _sum_j_1_S_n_l_ _delta_j_n_l_ _cdot _frac_partial z_j_n_l_partial z_i_n_l-1_ _ _sum_j_1_S_n_l_ _left_delta_j_n_l_ _cdot _frac_partial_partial z_i_n_l-1_sum_k_1_S_n_l-1_f_z_k_n_l-1_ _cdot W_jk_n_l-1_right_ _ _sum_j_1_S_n_l_ _delta_j_n_l_ _cdot W_ji_n_l-1_ _cdot f_z_i_n_l-1_ _ _left_sum_j_1_S_n_l_W_ji_n_l-1_delta_j_n_l_right_f_z_i_n_l-1_end_align]: /images/20220609/991ae4fbf5174929ba829b1250255b3b.png
[textstyle n_l-1]: http://ufldl.stanford.edu/wiki/images/math/4/f/6/4f6cfb751715090b0493154e4b912097.png
[begin_align_frac_partial_partial W_ij_l_ J_W_b_ x_ y_ _ a_l_j _delta_i_l_1_ _frac_partial_partial b_i_l_ J_W_b_ x_ y_ _ _delta_i_l_1_._end_align]: /images/20220609/6cedad3885b44c92a87b62f63d9fe56a.png
[textstyle _bullet]: http://ufldl.stanford.edu/wiki/images/math/9/9/3/9937b108a65d2d09961c23259e819e31.png
[textstyle a _ b _bullet c]: http://ufldl.stanford.edu/wiki/images/math/b/1/3/b1362783e5c1d9d1e627ca2a91b04f28.png
[textstyle a_i _ b_ic_i]: http://ufldl.stanford.edu/wiki/images/math/1/4/b/14b4e060883883de874d0ebf1ab758d3.png
[textstyle f_cdot]: http://ufldl.stanford.edu/wiki/images/math/0/3/0/0303dd697c0e1b72185d7939f9870784.png
[textstyle f_cdot 1]: http://ufldl.stanford.edu/wiki/images/math/f/e/d/fedde117b610fc785ad71db67e618ab2.png
[textstyle f_z_1_ z_2_ z_3_ _ _f_z_1_ f_z_2_ f_z_3]: /images/20220609/58fb5e22e81342368df48a661233202e.png
[begin_align_delta_n_l_ - _y - a_n_l_ _bullet f_z_n_l_end_align]: /images/20220609/f9ab47c5eb26447b8d1d2903839438b4.png
[begin_align_delta_l_ _ _left_W_l_T _delta_l_1_right_ _bullet f_z_l_end_align]: /images/20220609/e80b1f93c1ee4f5bbb461a25a16ed2ad.png
[begin_align_nabla_W_l_ J_W_b_x_y_ _ _delta_l_1_ _a_l_T_ _nabla_b_l_ J_W_b_x_y_ _ _delta_l_1_._end_align]: /images/20220609/834cd60143e54277953c1b3140f7151a.png
[textstyle f_z_l_i]: http://ufldl.stanford.edu/wiki/images/math/f/7/4/f745dea1a82d8cd64aa6b92466e3bbc5.png
[textstyle f_z]: http://ufldl.stanford.edu/wiki/images/math/5/d/1/5d1c55e9d6b297473de425651557d4fc.png
[textstyle f_z 1]: http://ufldl.stanford.edu/wiki/images/math/a/5/f/a5f7d3f914f4e383ce51e4998592caee.png
[textstyle f_z_l_i_ _ a_l_i _1- a_l_i]: /images/20220609/d019a724f67d446f9487eafbaf805763.png
[textstyle _Delta W_l]: http://ufldl.stanford.edu/wiki/images/math/6/c/6/6c600894179e37800af01a5795be30b8.png
[textstyle W_l]: /images/20220609/a4f9f1e8cb1849cd9e09139767c39561.png
[textstyle _Delta b_l]: http://ufldl.stanford.edu/wiki/images/math/e/5/8/e580f95036a0ccb35019a866cb10191f.png
[textstyle b_l]: http://ufldl.stanford.edu/wiki/images/math/8/c/2/8c2936afffcaf9eeabf8837d501ddb9d.png
[textstyle _Delta]: http://ufldl.stanford.edu/wiki/images/math/5/2/9/529ca30eb74564461bc8e0e7d7864e95.png
[textstyle _Delta W_l_ 0]: http://ufldl.stanford.edu/wiki/images/math/3/6/5/3650852a6b08d261b08a5f4f324fe3a0.png
[textstyle _Delta b_l_ 0]: /images/20220609/b29e13a202a24ff4bf29b1f93d132bfe.png
[textstyle i _ 1]: http://ufldl.stanford.edu/wiki/images/math/2/9/6/2964cb4e8851d521d24364f0d409a51d.png
[textstyle _nabla_W_l_ J_W_b_x_y]: http://ufldl.stanford.edu/wiki/images/math/d/2/1/d21ff7e7308c9fd8c428fd926f671a39.png
[textstyle _nabla_b_l_ J_W_b_x_y]: /images/20220609/c711afeb5acd40108df3879f8d8a9281.png
[textstyle _Delta W_l_ _Delta W_l_ _ _nabla_W_l_ J_W_b_x_y]: /images/20220609/000f2b540cfa4bb7952b6657eddaaa87.png
[textstyle _Delta b_l_ _Delta b_l_ _ _nabla_b_l_ J_W_b_x_y]: /images/20220609/9e8781f0c7d64f30825d9c7ad6ec4ef5.png
[begin_align_W_l_ _ W_l_ - _alpha _left_ _left_frac_1_m_ _Delta W_l_ _right_ _ _lambda W_l_right_ _b_l_ _ b_l_ - _alpha _left_frac_1_m_ _Delta b_l_right_end_align]: /images/20220609/07828234bf454e588c962b94ccb0ea03.png