1、反向传播

矫情吗；* 2022-10-08 13:29 364阅读 0赞

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。

说到神经网络，大家看到这个图应该不陌生：

![format_png][]

这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据\{x1,x2,x3,...,xn\},输出也是一堆数据\{y1,y2,y3,...,yn\},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样，那么就是最常见的自编码模型（Auto-Encoder）。可能有人会问，为什么要输入输出都一样呢？有什么用啊？其实应用挺广的，在图像识别，文本分类等等都会用到，我会专门再写一篇Auto-Encoder的文章来说明，包括一些变种之类的。如果你的输出和原始输入不一样，那么就是很常见的人工神经网络了，相当于让原始数据通过一个映射来得到我们想要的输出数据，也就是我们今天要讲的话题。

本文直接举一个例子，带入数值演示反向传播法的过程，公式的推导等到下次写Auto-Encoder的时候再写，其实也很简单，感兴趣的同学可以自己推导下试试：）

假设，你有这样一个网络层：

![format_png 1][]

第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h2和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。

现在对他们赋上初值，如下图：

![format_png 2][]

其中，输入数据 i1=0.05，i2=0.10;

输出数据 o1=0.01,o2=0.99;

初始权重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;

w5=0.40,w6=0.45,w7=0.50,w8=0.55

目标：给出输入数据i1,i2(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。

**Step 1 前向传播**

1.输入层---->隐含层：

计算神经元h1的输入加权和：

![format_png 3][]

神经元h1的输出o1:(此处用到激活函数为sigmoid函数)：

![format_png 4][]

同理，可计算出神经元h2的输出o2：

![format_png 5][]

2.隐含层---->输出层：

计算输出层神经元o1和o2的值：

![format_png 6][]

![format_png 7][]

这样前向传播的过程就结束了，我们得到输出值为\[0.75136079 , 0.772928465\]，与实际值\[0.01 , 0.99\]相差还很远，现在我们对误差进行反向传播，更新权值，重新计算输出。

**Step 2 反向传播**

1.计算总误差

总误差：(square error)

![format_png 8][]

但是有两个输出，所以分别计算o1和o2的误差，总误差为两者之和：

![format_png 9][]

![format_png 10][]

![format_png 11][]

2.隐含层---->输出层的权值更新：

以权重参数w5为例，如果我们想知道w5对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则）

![format_png 12][]

下面的图可以更直观的看清楚误差是怎样反向传播的：

![format_png 13][]

现在我们来分别计算每个式子的值：

计算![format_png 14][]：

![format_png 15][]

计算![format_png 16][]：

![format_png 17][]

（这一步实际上就是对sigmoid函数求导，比较简单，可以自己推导一下）

计算![format_png 18][]：

![format_png 19][]

最后三者相乘：

![format_png 20][]

这样我们就计算出整体误差E(total)对w5的偏导值。

回过头来再看看上面的公式，我们发现：

![format_png 21][]

为了表达方便，用![format_png 22][]来表示输出层的误差：

![format_png 23][]

因此，整体误差E(total)对w5的偏导公式可以写成：

![format_png 24][]

如果输出层误差计为负的话，也可以写成：

![format_png 25][]

最后我们来更新w5的值：

![format_png 26][]

（其中，![format_png 27][]是学习速率，这里我们取0.5）

同理，可更新w6,w7,w8:

![format_png 28][]

3.隐含层---->隐含层的权值更新：

方法其实与上面说的差不多，但是有个地方需要变一下，在上文计算总误差对w5的偏导时，是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时，是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的误差，所以这个地方两个都要计算。

![format_png 29][]

计算![format_png 30][]：

![format_png 31][]

先计算![format_png 32][]：

![format_png 33][]

![format_png 34][]

![format_png 35][]

![format_png 36][]

同理，计算出：

![format_png 37][]

两者相加得到总值：

![format_png 38][]

再计算![format_png 39][]：

![format_png 40][]

再计算![format_png 41][]：

![format_png 42][]

最后，三者相乘：

![format_png 43][]

为了简化公式，用sigma(h1)表示隐含层单元h1的误差：

![format_png 44][]

最后，更新w1的权值：

![format_png 45][]

同理，额可更新w2,w3,w4的权值：

![format_png 46][]

这样误差反向传播法就完成了，最后我们再把更新的权值重新计算，不停地迭代，在这个例子中第一次迭代之后，总误差E(total)由0.298371109下降至0.291027924。迭代10000次后，总误差为0.000035085，输出为\[0.015912196,0.984065734\](原输入为\[0.01,0.99\]),证明效果还是不错的。

参考：

[https://blog.csdn.net/weixin\_38347387/article/details/82936585][https_blog.csdn.net_weixin_38347387_article_details_82936585]

[format_png]: /images/20221005/15a9fdb893b04eeabbd8216fedd0203c.png
[format_png 1]: /images/20221005/89e3f1a6644c42edace78d3ff57b80ed.png
[format_png 2]: /images/20221005/ee61fbb27d6d408a8b4c88f026bd8de9.png
[format_png 3]: /images/20221005/be678f8ec5a14d35881a1e524dd2d217.png
[format_png 4]: /images/20221005/4d591c1feb2143aabee7de375604ca82.png
[format_png 5]: /images/20221005/56d9099cf43241d48b78cd3b26e9bd8a.png
[format_png 6]: /images/20221005/4383b7cd81d646fa8ad1e9a1c027ffc0.png
[format_png 7]: /images/20221005/6477608698274dc3abd572b128a5df2d.png
[format_png 8]: /images/20221005/0d0b6a472c584ba896fa433dad8de02e.png
[format_png 9]: /images/20221005/6aa5123d4bf144a0a52308b793ed6788.png
[format_png 10]: /images/20221005/4c16165ceaee4d48909a7ed67c7d91e7.png
[format_png 11]: /images/20221005/05b8db14545b406cb978300432676d31.png
[format_png 12]: /images/20221005/853809a9b489457e91ef1797bd8ddb4e.png
[format_png 13]: /images/20221005/b186254881cc4ee78bc453222188c29c.png
[format_png 14]: /images/20221005/3284eb8e9cc84e6da805bf06472ec091.png
[format_png 15]: /images/20221005/d5fa75b214f041ac983cab6ead506619.png
[format_png 16]: /images/20221005/a5ce01a520b84f98977bbcfeabe01c18.png
[format_png 17]: /images/20221005/3aadd5956a2941b999f94b57846102b1.png
[format_png 18]: /images/20221005/58a7d0862d024db783777a6a747e93fe.png
[format_png 19]: /images/20221005/f684026033564347a4bcf56f45a29932.png
[format_png 20]: /images/20221005/beae1ba3997042d5a5c9042ec4867017.png
[format_png 21]: /images/20221005/9c5a9e56852a416e9edf35b514755f5c.png
[format_png 22]: /images/20221005/3dfa8c19c3e5436192a4e886317f2731.png
[format_png 23]: /images/20221005/41720d6e24fb46168f0d5da1a1432c1f.png
[format_png 24]: /images/20221005/c78f736ab46b4017bb916d4ffe4c99cf.png
[format_png 25]: /images/20221005/fbc324eb9e454375b0d46ff8cdad92b8.png
[format_png 26]: /images/20221005/a4c633abe0b74921b1a7ccd41fa84334.png
[format_png 27]: /images/20221005/c06678e9a11b4a1ab08d9057544706f4.png
[format_png 28]: /images/20221005/af2df1161ac34aa5a9744515680ded9d.png
[format_png 29]: /images/20221005/9355b3c86774409dbb2b06dbd2ce1009.png
[format_png 30]: /images/20221005/1b728721e7104243a9895194935560bc.png
[format_png 31]: /images/20221005/01b66800e14041f09a2393e40cd5789a.png
[format_png 32]: /images/20221005/f71397192a7640c0b1537a62c025a81c.png
[format_png 33]: /images/20221005/95a49f95ff6f4438b3d2897bbf674e39.png
[format_png 34]: /images/20221005/a883ee05353148dc96c2f3496178a9bf.png
[format_png 35]: /images/20221005/19c4a2dfe6a64d17b97757cdbd479b10.png
[format_png 36]: /images/20221005/218c1eae00d046b884edc2f0024c0e48.png
[format_png 37]: /images/20221005/3929f042eb2a4b69aaf4d86a3a8dac71.png
[format_png 38]: /images/20221005/dc5336481fc4478e8ad54fe270185464.png
[format_png 39]: /images/20221005/c380fe788405481cbf0a99e15058d68a.png
[format_png 40]: /images/20221005/dc5d0b9f750b4c28ae5c9266d5e44124.png
[format_png 41]: /images/20221005/1f17a238106e4444b63ace00de91120d.png
[format_png 42]: /images/20221005/abcc5f0921e14b5e876dd012a62d1ab7.png
[format_png 43]: /images/20221005/8f06c1a78dc9421883190b5e5bb5dbac.png
[format_png 44]: /images/20221005/a0c0bb43366b4053a2ee902c61508854.png
[format_png 45]: /images/20221005/1c378e5dbecb4ff18a7363bb8ec95145.png
[format_png 46]: /images/20221005/1148c8c195134291bd921d903a79a8c5.png
[https_blog.csdn.net_weixin_38347387_article_details_82936585]: https://blog.csdn.net/weixin_38347387/article/details/82936585