稀疏自编码器

迷南。 2022-05-08 01:08 318阅读 0赞

转自：[https://blog.csdn.net/u010278305/article/details/46881443][https_blog.csdn.net_u010278305_article_details_46881443]

本笔记主要记录学习《深度学习》的总结体会。如有理解不到位的地方，欢迎大家指出，我会努力改正。

在学习《深度学习》时，我主要是通过Andrew Ng教授在[http://deeplearning.stanford.edu/wiki/index.php/UFLDL\_Tutorial][http_deeplearning.stanford.edu_wiki_index.php_UFLDL_Tutorial]上提供的UFLDL（Unsupervised Feature Learning and Deep Learning）教程，本文在写的过程中，多有借鉴这个网站提供的资料。

稀疏自编码器（Sparse Autoencoder）可以自动从无标注数据中学习特征，可以给出比原始数据更好的特征描述。在实际运用时可以用稀疏编码器发现的特征取代原始数据，这样往往能带来更好的结果。本文将给出稀疏自编码器的算法描述，并演示说明稀疏编码器自动提取边缘特征。

转载请注明出处：[http://blog.csdn.net/u010278305][http_blog.csdn.net_u010278305]。

稀疏自编码器是具有一层隐含层的神经网络，其思路是让输出等于输入，（即![\\textstyle y^\{(i)\} = x^\{(i)\}][textstyle y_i_ _ x_i]，其中![\\textstyle \\\{x^\{(1)\}, x^\{(2)\}, x^\{(3)\}, \\ldots\\\}][textstyle _x_1_ x_2_ x_3_ _ldots]表示训练样本集合），让编码器自己发现输入数据中隐含的特征，自编码神经网咯的结果如下图：

[![Autoencoder636.png][]][Autoencoder636.png 1]

自编码神经网络尝试学习一个 ![\\textstyle h\_\{W,b\}(x) \\approx x][textstyle h_W_b_x_ _approx x] 的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出 ![\\textstyle \\hat\{x\}][textstyle _hat_x] 接近于输入 ![\\textstyle x][textstyle x] 。这样往往可以发现输入数据的一些有趣特征，最终我们会用隐藏层的神经元代替原始数据。当隐藏神经元数目少于输入的数目时，自编码神经网络可以达到数据压缩的效果（因为最终我们可以用隐藏神经元替代原始输入，输入层的n个输入转换为隐藏层的m个神经元，其中n>m,之后隐藏层的m个神经元又转换为输出层的n个输出，其输出等于输入）；当隐藏神经元数目较多时，我们仍然可以对隐藏层的神经元加入稀疏性限制来发现输入数据的有趣结构。

稀疏性可以被简单地解释如下。如果当神经元的输出接近于1的时候我们认为它被激活，而输出接近于0的时候认为它被抑制，那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。这里我们假设的神经元的激活函数是sigmoid函数（如果你使用tanh作为激活函数的话，当神经元输出为-1的时候，我们认为神经元是被抑制的）。

我们使用 ![\\textstyle a^\{(2)\}\_j(x)][textstyle a_2_j_x] 来表示在给定输入为 ![\\textstyle x][textstyle x] 情况下，自编码神经网络隐藏神经元 ![\\textstyle j][textstyle j] 的激活度。并将隐藏神经元 ![\\textstyle j][textstyle j] 的平均活跃度（在训练集上取平均）记为：

![\\begin\{align\}\\hat\\rho\_j = \\frac\{1\}\{m\} \\sum\_\{i=1\}^m \\left\[ a^\{(2)\}\_j(x^\{(i)\}) \\right\]\\end\{align\}][begin_align_hat_rho_j _ _frac_1_m_ _sum_i_1_m _left_ a_2_j_x_i_ _right_end_align]

在此，稀疏性限制可以理解为使隐藏神经元的平均激活度特别小，可以表示为![\\begin\{align\}\\hat\\rho\_j = \\rho,\\end\{align\}][begin_align_hat_rho_j _ _rho_end_align]其中![\\textstyle \\rho][textstyle _rho] 是稀疏性参数，![\\textstyle \\rho][textstyle _rho]通常是一个接近于0的较小的值（比如 ![\\textstyle \\rho = 0.05][textstyle _rho _ 0.05]），换句话说，我们想要让隐藏神经元 ![\\textstyle j][textstyle j] 的平均活跃度接近0.05。为了满足这一条件，隐藏神经元的活跃度必须接近于0。为了实现这一限制，我们需要在原始的神经网络优化目标函数中加入稀疏性限制这一项，作为一项额外的惩罚因子，我们可以选择具有如下形式的惩罚因子：

![\\begin\{align\}\\sum\_\{j=1\}^\{s\_2\} \\rho \\log \\frac\{\\rho\}\{\\hat\\rho\_j\} + (1-\\rho) \\log \\frac\{1-\\rho\}\{1-\\hat\\rho\_j\}.\\end\{align\}][begin_align_sum_j_1_s_2_ _rho _log _frac_rho_hat_rho_j_ _ _1-_rho_ _log _frac_1-_rho_1-_hat_rho_j_._end_align]

其中， ![\\textstyle s\_2][textstyle s_2] 是隐藏层中隐藏神经元的数量，而索引 ![\\textstyle j][textstyle j] 依次代表隐藏层中的每一个神经元。该表达式也可以描述为相对熵，记为

![\\begin\{align\}\\sum\_\{j=1\}^\{s\_2\} \{\\rm KL\}(\\rho || \\hat\\rho\_j),\\end\{align\}][begin_align_sum_j_1_s_2_ _rm KL_rho _ _hat_rho_j_end_align]

其中， ![\\textstyle \{\\rm KL\}(\\rho || \\hat\\rho\_j) = \\rho \\log \\frac\{\\rho\}\{\\hat\\rho\_j\} + (1-\\rho) \\log \\frac\{1-\\rho\}\{1-\\hat\\rho\_j\}][textstyle _rm KL_rho _ _hat_rho_j_ _ _rho _log _frac_rho_hat_rho_j_ _ _1-_rho_ _log _frac_1-_rho_1-_hat_rho_j] 是一个以 ![\\textstyle \\rho][textstyle _rho] 为均值和一个以 ![\\textstyle \\hat\\rho\_j][textstyle _hat_rho_j] 为均值的两个伯努利随机变量之间的相对熵。相对熵是一种标准的用来测量两个分布之间差异的方法。

这一惩罚因子有如下性质，当 ![\\textstyle \\hat\\rho\_j = \\rho][textstyle _hat_rho_j _ _rho] 时 ，![\\textstyle \{\\rm KL\}(\\rho || \\hat\\rho\_j) = 0][textstyle _rm KL_rho _ _hat_rho_j_ _ 0]，并且随着 ![\\textstyle \\hat\\rho\_j][textstyle _hat_rho_j] 与 ![\\textstyle \\rho][textstyle _rho] 之间的差异增大而单调递增。举例来说，在下图中，我们设定 ![\\textstyle \\rho = 0.2][textstyle _rho _ 0.2] 并且画出了相对熵值 ![\\textstyle \{\\rm KL\}(\\rho || \\hat\\rho\_j)][textstyle _rm KL_rho _ _hat_rho_j] 随着 ![\\textstyle \\hat\\rho\_j][textstyle _hat_rho_j] 变化的变化。

[![KLPenaltyExample.png][]][KLPenaltyExample.png 1]

我们可以看出，相对熵在 ![\\textstyle \\hat\\rho\_j = \\rho][textstyle _hat_rho_j _ _rho] 时达到它的最小值0，而当 ![\\textstyle \\hat\\rho\_j][textstyle _hat_rho_j] 靠近0或者1的时候，相对熵则变得非常大（其实是趋向于![\\textstyle \\infty][textstyle _infty]）。所以，最小化这一惩罚因子具有使得 ![\\textstyle \\hat\\rho\_j][textstyle _hat_rho_j] 靠近 ![\\textstyle \\rho][textstyle _rho] 的效果。现在，我们的总体代价函数可以表示为

![\\begin\{align\}J\_\{\\rm sparse\}(W,b) = J(W,b) + \\beta \\sum\_\{j=1\}^\{s\_2\} \{\\rm KL\}(\\rho || \\hat\\rho\_j),\\end\{align\}][begin_align_J_rm sparse_W_b_ _ J_W_b_ _ _beta _sum_j_1_s_2_ _rm KL_rho _ _hat_rho_j_end_align]

其中， ![\\textstyle J(W,b)][textstyle J_W_b] 如之前所定义，而 ![\\textstyle \\beta][textstyle _beta] 控制稀疏性惩罚因子的权重。 ![\\textstyle \\hat\\rho\_j][textstyle _hat_rho_j] 项则也（间接地）取决于 ![\\textstyle W,b][textstyle W_b] ，因为它是隐藏神经元 ![\\textstyle j][textstyle j] 的平均激活度，而隐藏层神经元的激活度取决于 ![\\textstyle W,b][textstyle W_b] 。为此，我们需要相应更改第二层的导数，具体来说，就是将原来的导数

![\\begin\{align\}\\delta^\{(2)\}\_i = \\left( \\sum\_\{j=1\}^\{s\_\{2\}\} W^\{(2)\}\_\{ji\} \\delta^\{(3)\}\_j \\right) f'(z^\{(2)\}\_i),\\end\{align\}][begin_align_delta_2_i _ _left_ _sum_j_1_s_2_ W_2_ji_ _delta_3_j _right_ f_z_2_i_end_align]

换成如下的形式

![\\begin\{align\}\\delta^\{(2)\}\_i =  \\left( \\left( \\sum\_\{j=1\}^\{s\_\{2\}\} W^\{(2)\}\_\{ji\} \\delta^\{(3)\}\_j \\right)+ \\beta \\left( - \\frac\{\\rho\}\{\\hat\\rho\_i\} + \\frac\{1-\\rho\}\{1-\\hat\\rho\_i\} \\right) \\right) f'(z^\{(2)\}\_i) .\\end\{align\}][begin_align_delta_2_i _ _left_ _left_ _sum_j_1_s_2_ W_2_ji_ _delta_3_j _right_ _beta _left_ - _frac_rho_hat_rho_i_ _ _frac_1-_rho_1-_hat_rho_i_ _right_ _right_ f_z_2_i_ ._end_align]

就可以了。

更新这个导数时，我们需要知道![\\textstyle \\hat\\rho\_i][textstyle _hat_rho_i]这一项，因此在计算神经元的后向传播之前，需要对所有的训练样本计算一遍前向传播，从而获得平均激活度。

按照  [ http://deeplearning.stanford.edu/wiki/index.php/Exercise:Sparse\_Autoencoder][http_deeplearning.stanford.edu_wiki_index.php_Exercise_Sparse_Autoencoder]  给出的教程，我们可以对稀疏自编码器进行编写实现。

下面，给出稀疏自编码器代价函数及其导数的matlab代码实现：

在编码器的输入为图片时，我们对输入层到隐藏层的权重进行可视化，得到如下图所示结果：

![Center][]

可以发现，稀疏自编码器可以自动提取输入图片的边缘特征。

稀疏自编码器完整的MATLAB实现代码已经上传，地址[http://download.csdn.net/detail/u010278305/8901005][http_download.csdn.net_detail_u010278305_8901005]  
    转载请注明出处：[http://blog.csdn.net/u010278305][http_blog.csdn.net_u010278305]

\--------------------- 本文来自 chenynCV 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/u010278305/article/details/46881443?utm\_source=copy

[https_blog.csdn.net_u010278305_article_details_46881443]: https://blog.csdn.net/u010278305/article/details/46881443
[http_deeplearning.stanford.edu_wiki_index.php_UFLDL_Tutorial]: http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial
[http_blog.csdn.net_u010278305]: http://blog.csdn.net/u010278305
[textstyle y_i_ _ x_i]: http://deeplearning.stanford.edu/wiki/images/math/1/8/e/18ea47f5937698844bad522f86679912.png
[textstyle _x_1_ x_2_ x_3_ _ldots]: /images/20220508/f0cdb036d90d4054bbb93ad1f0c130b6.png
[Autoencoder636.png]: /images/20220508/4d565e53d4aa49c7aa5c5d8e80f9d26e.png
[Autoencoder636.png 1]: http://deeplearning.stanford.edu/wiki/index.php/File:Autoencoder636.png
[textstyle h_W_b_x_ _approx x]: http://deeplearning.stanford.edu/wiki/images/math/4/3/a/43add74a1db8df97b8c6c18abeab16ec.png
[textstyle _hat_x]: http://deeplearning.stanford.edu/wiki/images/math/2/9/0/29035749c12270bcc8de7e36bc459ece.png
[textstyle x]: /images/20220508/d2840e9cfd9b4c40b3e0948e099acfa5.png
[textstyle a_2_j_x]: http://deeplearning.stanford.edu/wiki/images/math/4/b/3/4b3ea0e74395587b75475e7d1a648104.png
[textstyle j]: /images/20220508/930f2ad70a5f4a88837773013da028e1.png
[begin_align_hat_rho_j _ _frac_1_m_ _sum_i_1_m _left_ a_2_j_x_i_ _right_end_align]: /images/20220508/e58e65ee1b8b4c56af9f35338e40f38b.png
[begin_align_hat_rho_j _ _rho_end_align]: http://deeplearning.stanford.edu/wiki/images/math/1/8/9/189cc2ce8930608381f0aa234c009cb6.png
[textstyle _rho]: /images/20220508/493dc29970b1464c9a484ce767e1a08a.png
[textstyle _rho _ 0.05]: http://deeplearning.stanford.edu/wiki/images/math/d/3/5/d35b301a869e4bb93c39abcc9354c7c1.png
[begin_align_sum_j_1_s_2_ _rho _log _frac_rho_hat_rho_j_ _ _1-_rho_ _log _frac_1-_rho_1-_hat_rho_j_._end_align]: /images/20220508/26e95d3fbf8f4092b32ee3553d57d92a.png
[textstyle s_2]: http://deeplearning.stanford.edu/wiki/images/math/9/b/d/9bd7e6635a679f22fa8a38dd2a910942.png
[begin_align_sum_j_1_s_2_ _rm KL_rho _ _hat_rho_j_end_align]: /images/20220508/f4b0103809df4fb590558f5a734702fb.png
[textstyle _rm KL_rho _ _hat_rho_j_ _ _rho _log _frac_rho_hat_rho_j_ _ _1-_rho_ _log _frac_1-_rho_1-_hat_rho_j]: http://deeplearning.stanford.edu/wiki/images/math/0/b/3/0b34ac7d27ca8346693cd35e9f8cfb0c.png
[textstyle _hat_rho_j]: /images/20220508/7253b2ab385449b0a73b4d3db1b60b27.png
[textstyle _hat_rho_j _ _rho]: http://deeplearning.stanford.edu/wiki/images/math/b/c/a/bcaf3a5f10de9ecad0501656219aa84d.png
[textstyle _rm KL_rho _ _hat_rho_j_ _ 0]: http://deeplearning.stanford.edu/wiki/images/math/0/f/8/0f8e718b0e1b53a6d05db3cde96b054b.png
[textstyle _rho _ 0.2]: http://deeplearning.stanford.edu/wiki/images/math/a/6/d/a6d55e7d6e75b4f436b65237fbd149cb.png
[textstyle _rm KL_rho _ _hat_rho_j]: http://deeplearning.stanford.edu/wiki/images/math/a/6/5/a6597e94af97ff0d0b9b4c1502514653.png
[KLPenaltyExample.png]: /images/20220508/abade70d403f4f56bd9989647b74d078.png
[KLPenaltyExample.png 1]: http://deeplearning.stanford.edu/wiki/index.php/File:KLPenaltyExample.png
[textstyle _infty]: http://deeplearning.stanford.edu/wiki/images/math/3/0/f/30f4c69377104600a42fc2cf6d55c31a.png
[begin_align_J_rm sparse_W_b_ _ J_W_b_ _ _beta _sum_j_1_s_2_ _rm KL_rho _ _hat_rho_j_end_align]: /images/20220508/32913d3406a64dcebead89dae64857a4.png
[textstyle J_W_b]: http://deeplearning.stanford.edu/wiki/images/math/8/e/9/8e94ae776ae14b36b3af183726ababb9.png
[textstyle _beta]: http://deeplearning.stanford.edu/wiki/images/math/c/0/3/c03f7273f858c35d0a482846d7cd54bf.png
[textstyle W_b]: /images/20220508/0c9b210950474ffcbf09c08d6f4adcd4.png
[begin_align_delta_2_i _ _left_ _sum_j_1_s_2_ W_2_ji_ _delta_3_j _right_ f_z_2_i_end_align]: /images/20220508/a246776b19774c1888b14176dea4af92.png
[begin_align_delta_2_i _ _left_ _left_ _sum_j_1_s_2_ W_2_ji_ _delta_3_j _right_ _beta _left_ - _frac_rho_hat_rho_i_ _ _frac_1-_rho_1-_hat_rho_i_ _right_ _right_ f_z_2_i_ ._end_align]: /images/20220508/00d91575162b4431852dc7f94cb7c1a5.png
[textstyle _hat_rho_i]: /images/20220508/3b6b53cbb1784d159528fec21688f6b1.png
[http_deeplearning.stanford.edu_wiki_index.php_Exercise_Sparse_Autoencoder]: http://deeplearning.stanford.edu/wiki/index.php/Exercise:Sparse_Autoencoder
[Center]: /images/20220508/ef5f098b6a9e422bb5716c80af878ed9.png
[http_download.csdn.net_detail_u010278305_8901005]: http://download.csdn.net/detail/u010278305/8901005