UFLDL：稀疏自编码器

你的名字 2022-01-20 02:05 308阅读 0赞

吴恩达的 [**CS294A**][CS294A] 是一门很好的深度学习入门课程，打算接下来的学习以这个课程的内容为主。[**UFLDL Tutorial**][UFLDL Tutorial] 是 CS294A 课程的 wiki 页，包含了课程讲义和作业。如果你对 **监督学习**、**逻辑回归**、**梯度下降** 等基础概念并不熟悉，可以先学习 [**之前的课程**][Link 1]。

关于课程作业的 Python 代码已经放到了 Github 上，点击 [**课程代码**][Link 2] 就能去 Github 查看（ 无法访问 Github 的话可以点击 [**Coding**][Coding] 查看 ），代码中的错误和改进欢迎大家指出。

### 稀疏自编码器 ###

大家知道现在深度学习在计算机视觉领域全面开花结果，得到了许多之前无法想象的好结果。而就在这之前大家还要花费很大的精力来人工设计特征。下面要学习的 **稀疏自编码器** 正是向自动学习特征迈出的第一步。（ 下图为作业中的神经网络，左图为输入图像，右图为训练后的输出图像 ）

**稀疏自编码器** 的基本模型是一个三层的神经网络，在学习时让网络输出的目标值接近于输入的图像本身，从而学习图像中的特征。直接学习一个恒等函数的话没有什么意义，所以我们要对隐含层做出一些限制，比如减小神经元的个数，网络就会被迫压缩数据并尝试重建输入图像。当我们加入惩罚让神经元在大部分情况下都不激活的时候，网络能够学习到十分有趣的边缘特征。隐含层的神经元在观察到输入图像中某个特定角度的边缘特征时才会被激活（ 这和神经科学发现的人类视觉皮层V1中的神经元的激活方式相似 ）。

### 代价函数 ###

根据机器学习的一般模式，首先给出 **稀疏自编码器** 的代价函数：

![J\_\{sparse\}(W,b)= \\frac\{1\}\{m\}\\sum\\limits\_\{i=1\}^\{m\}\\big(\\frac\{1\}\{2\}||h\_\{W,b\}(x^\{(i)\})-y^\{(i)\}||^2\\big) + \\frac\{\\lambda\}\{2\}\\sum\\limits\_\{l=1\}^\{L-1\}\\sum\\limits\_\{i=1\}^\{s\_l\}\\sum\\limits\_\{j=1\}^\{s\_\{l+1\}\}\\big(\\Theta\_\{ji\}^\{(l)\}\\big)^2 \\\\ + \\beta\\sum\\limits\_\{j=1\}^\{s\_2\}KL(\\rho||\\hat\\rho\_j)][J_sparse_W_b_ _frac_1_m_sum_limits_i_1_m_big_frac_1_2_h_W_b_x_i_-y_i_2_big_ _ _frac_lambda_2_sum_limits_l_1_L-1_sum_limits_i_1_s_l_sum_limits_j_1_s_l_1_big_Theta_ji_l_big_2 _ _ _beta_sum_limits_j_1_s_2_KL_rho_hat_rho_j]

比起熟悉的前两项，代价函数新增了对于隐含层的惩罚，式中 ![s\_2][s_2] 表示隐含层的神经元个数。![\\hat\\rho\_j][hat_rho_j] 表示 隐含层神经元 ![j][] 对于所有训练数据的平均激活度，![\\hat\\rho\_j=\\sum\\limits\_\{i=1\}^\{m\}\\big\[a\_j^\{(2)\}(x^\{(i)\})\\big\]][hat_rho_j_sum_limits_i_1_m_big_a_j_2_x_i_big]（ 注意这里的 ![a\_j^\{(2)\}(x)][a_j_2_x] 表示一个函数，值为数据 ![x][] 对应的 ![a\_j^\{(2)\}][a_j_2] ），![\\rho][rho] 为 ![\\hat\\rho\_j][hat_rho_j] 的目标值，目的就是之前说的让神经元在大多数时间不激活。

按照 Ng 的说法，新的惩罚项有多种函数可以选择，而这里用来衡量 ![\\rho][rho] 与 ![\\hat\\rho\_j][hat_rho_j] 差异的度量为 ![KL \\ divergence][KL _ divergence] 又称为 [**相对熵**][Link 3]，定义为：

![KL(P||Q) = \\sum\\limits\_\{i\}P(i)log\\Big(\\frac\{Q(i)\}\{P(i)\}\\Big)][KL_P_Q_ _ _sum_limits_i_P_i_log_Big_frac_Q_i_P_i_Big]

它所度量的是两个概率分布间的距离（ 我也不是太懂，有机会再做深入的研究 ）。 有了代价函数，接下来看下原先的反向传播算法有什么变化~

### 梯度下降 ###

在之前 [**反向传播算法**][Link 4] 课程中已经说过它该算法的两个重点，一个是它的目的：更快速地计算代价函数的梯度，另一个是它的计算依赖于多元函数求导的链式法则。

由于代价函数的增加项直接为隐含层的函数，所以隐含层的误差：

![\\delta^\{(2)\}\_j = \\frac\{\\partial J\_\{sparse\}\}\{\\partial z^\{(2)\}\_j\} = \\frac\{\\partial J\}\{\\partial z^\{(2)\}\_j\} + \\frac\{\\partial KL\}\{\\partial z^\{(2)\}\_j\}][delta_2_j _ _frac_partial J_sparse_partial z_2_j_ _ _frac_partial J_partial z_2_j_ _ _frac_partial KL_partial z_2_j]

其中后一项可化为：

![\\frac\{\\partial KL\}\{\\partial z^\{(2)\}\_j\}= \\sum\\limits\_\{k=1\}^\{s\_\{2\}\} \\frac\{\\partial KL\}\{\\partial a\_k^\{(2)\}\} \\frac\{\\partial a\_k^\{(2)\}\}\{\\partial z^\{(2)\}\_j\} = \\beta\\Big(-\\frac\{\\rho\}\{\\hat\\rho\_j\}+\\frac\{1-\\rho\}\{1-\\hat\\rho\_j\}\\Big)g'(z^\{(2)\}\_j)][frac_partial KL_partial z_2_j_ _sum_limits_k_1_s_2_ _frac_partial KL_partial a_k_2_ _frac_partial a_k_2_partial z_2_j_ _ _beta_Big_-_frac_rho_hat_rho_j_frac_1-_rho_1-_hat_rho_j_Big_g_z_2_j]

因此 **反向传播算法** 中的 ![\\delta^\{(2)\}\_j][delta_2_j] 计算变为：

![\\delta^\{(2)\}\_j = \\Big(\\sum\\limits\_\{k=1\}^\{s\_3\} \\Theta\_\{kj\}^\{(2)\} \\delta^\{(3)\}\_k +\\Big(-\\frac\{\\rho\}\{\\hat\\rho\_j\}+\\frac\{1-\\rho\}\{1-\\hat\\rho\_j\}\\Big)\\Big)a\_j^\{(2)\} (1-a\_j^\{(2)\})][delta_2_j _ _Big_sum_limits_k_1_s_3_ _Theta_kj_2_ _delta_3_k _Big_-_frac_rho_hat_rho_j_frac_1-_rho_1-_hat_rho_j_Big_Big_a_j_2_ _1-a_j_2]

其余的计算都和原先的算法相同。 搞定代价函数和梯度计算，剩下的就是调用带优化的梯度下降算法了~

### 可视化 ###

最后稍微提下课程作业，它让我们在 10 张风景图片中随机取 10000 个 8x8 的局部图，然后让稀疏自编码器学习其中的特征。神经网络的隐含层神经元个数为 25，输入输出维度都为 64。下图为每个隐含层神经元对应的输入层权重，大致可看成该神经元检测到这种特征时会被激活。（ tip: 作业中的学习算法和梯度检查函数在之前的课程中都写过，因此可以直接拿来用。 ）

So~，稀疏自编码器的内容就是这些了，谢谢大家耐心阅读。

P.S. 封面图为猴子视觉皮层 V1 区的方向柱

[CS294A]: https://link.juejin.im?target=http%3A%2F%2Fweb.stanford.edu%2Fclass%2Fcs294a%2F
[UFLDL Tutorial]: https://link.juejin.im?target=http%3A%2F%2Fufldl.stanford.edu%2Fwiki%2Findex.php%2FUFLDL_Tutorial
[Link 1]: https://link.juejin.im?target=http%3A%2F%2Fhertzcat.com%2F2018%2F03%2F24%2Fcoursera-ml-andrewng-linear-regression%2F
[Link 2]: https://link.juejin.im?target=https%3A%2F%2Fgithub.com%2Fhertzcat%2FUFLDL
[Coding]: https://link.juejin.im?target=https%3A%2F%2Fcoding.net%2Fu%2Fhertzcat%2Fp%2FUFLDL%2Fgit
[J_sparse_W_b_ _frac_1_m_sum_limits_i_1_m_big_frac_1_2_h_W_b_x_i_-y_i_2_big_ _ _frac_lambda_2_sum_limits_l_1_L-1_sum_limits_i_1_s_l_sum_limits_j_1_s_l_1_big_Theta_ji_l_big_2 _ _ _beta_sum_limits_j_1_s_2_KL_rho_hat_rho_j]: /images/20220120/4186149ce0c3448d823588b216bf33d6.png
[s_2]: https://juejin.im/equation?tex=s_2
[hat_rho_j]: https://juejin.im/equation?tex=%5Chat%5Crho_j
[j]: https://juejin.im/equation?tex=j
[hat_rho_j_sum_limits_i_1_m_big_a_j_2_x_i_big]: https://juejin.im/equation?tex=%5Chat%5Crho_j%3D%5Csum%5Climits_%7Bi%3D1%7D%5E%7Bm%7D%5Cbig%5Ba_j%5E%7B%282%29%7D%28x%5E%7B%28i%29%7D%29%5Cbig%5D
[a_j_2_x]: https://juejin.im/equation?tex=a_j%5E%7B%282%29%7D%28x%29
[x]: https://juejin.im/equation?tex=x
[a_j_2]: https://juejin.im/equation?tex=a_j%5E%7B%282%29%7D
[rho]: https://juejin.im/equation?tex=%5Crho
[KL _ divergence]: https://juejin.im/equation?tex=KL%20%5C%20divergence
[Link 3]: https://link.juejin.im?target=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FKullback%25E2%2580%2593Leibler_divergence
[KL_P_Q_ _ _sum_limits_i_P_i_log_Big_frac_Q_i_P_i_Big]: /images/20220120/223e86d654f04be39c4fad0744058cb3.png
[Link 4]: https://link.juejin.im?target=http%3A%2F%2Fhertzcat.com%2F2018%2F04%2F14%2Fcoursera-ml-andrewng-nn-back-propagation%2F
[delta_2_j _ _frac_partial J_sparse_partial z_2_j_ _ _frac_partial J_partial z_2_j_ _ _frac_partial KL_partial z_2_j]: /images/20220120/87a38d56fad44e30ad20e42ed8f2de73.png
[frac_partial KL_partial z_2_j_ _sum_limits_k_1_s_2_ _frac_partial KL_partial a_k_2_ _frac_partial a_k_2_partial z_2_j_ _ _beta_Big_-_frac_rho_hat_rho_j_frac_1-_rho_1-_hat_rho_j_Big_g_z_2_j]: /images/20220120/bebecd0f8fe8415896974b35d12bdd4a.png
[delta_2_j]: /images/20220120/d5ad9d8e39804671a2bdd3b9d4e7eb84.png
[delta_2_j _ _Big_sum_limits_k_1_s_3_ _Theta_kj_2_ _delta_3_k _Big_-_frac_rho_hat_rho_j_frac_1-_rho_1-_hat_rho_j_Big_Big_a_j_2_ _1-a_j_2]: /images/20220120/d5ad9d8e39804671a2bdd3b9d4e7eb84.png%20%3D%20%5CBig%28%5Csum%5Climits_%7Bk%3D1%7D%5E%7Bs_3%7D%20%5CTheta_%7Bkj%7D%5E%7B%282%29%7D%20%5Cdelta%5E%7B%283%29%7D_k%20%2B%5CBig%28-%5Cfrac%7B%5Crho%7D%7B%5Chat%5Crho_j%7D%2B%5Cfrac%7B1-%5Crho%7D%7B1-%5Chat%5Crho_j%7D%5CBig%29%5CBig%29a_j%5E%7B%282%29%7D%20%281-a_j%5E%7B%282%29%7D%29