PyTorch教程(十二):链式法则
通过使用链式法则就可以把最后一层的误差一层一层的输出到中间层的权值中去,从而得到中间层的梯度信息,然后就可以很好的更新权值,得到最优化的效果。
链式法则公式:
∂ y ∂ x = ∂ y ∂ u ∂ u ∂ x \frac {\partial y}{\partial x} = \frac {\partial y }{\partial u} \frac {\partial u}{\partial x} ∂x∂y=∂u∂y∂x∂u
对于一个简单的线性层来说不需要链式法则,但是对于对于实际的神经网络来说,展开公式是非常复杂的,不能直接一次到位,因此使用链式法则可以使得我们的求导过程非常简单。
还没有评论,来说两句吧...