PyTorch教程(十二):链式法则

淡淡的烟草味﹌ 2022-11-01 00:50 254阅读 0赞

通过使用链式法则就可以把最后一层的误差一层一层的输出到中间层的权值中去,从而得到中间层的梯度信息,然后就可以很好的更新权值,得到最优化的效果。
链式法则公式:
∂ y ∂ x = ∂ y ∂ u ∂ u ∂ x \frac {\partial y}{\partial x} = \frac {\partial y }{\partial u} \frac {\partial u}{\partial x} ∂x∂y​=∂u∂y​∂x∂u​

对于一个简单的线性层来说不需要链式法则,但是对于对于实际的神经网络来说,展开公式是非常复杂的,不能直接一次到位,因此使用链式法则可以使得我们的求导过程非常简单。

发表评论

表情:
评论列表 (有 0 条评论,254人围观)

还没有评论,来说两句吧...

相关阅读

    相关 驼峰命名法则

    骆峰式命名法(Camel-Case)是电脑程式编写时的一套命名规则(惯例)。   骆峰式命名法就是当变量名或函式名是由一个或多个单字连结在一起,而构成的唯一识别字时,第一个