卷积层如何反向求导

末蓝、 2023-07-18 14:01 23阅读 0赞

通常我们在进行卷积的运算时，只考虑正向运算，似乎我们对卷积的正向运算非常了解。但是机器学习或者是深度学习的关键在于参数优化，而优化势必要反向运算，即损失函数对各个层级的参数进行求偏导。如果是如果是传统的机器学习，由于他的链路比较短，所以反向求导似乎很容易想象、很容易理解。而一旦切换到深度学习的阵营，我们对于反向求导似乎不怎么考虑，因为各种深度学习框架早已内置了各种反向求导机制，我们只管设计深度卷积框架就行，优化的事情交给TensorFlow或pytorch等就行。  
今天就来思考一下针对卷积神经网络的的反向求导过程，他到底是怎么实现的？今天的思考只是一个粗浅的看法，不涉及关于反向求导的复杂庞大的理论体系。

#### 第一件事情 ####

所谓的误差反向传递或者是反向求导，理论上就是复合函数求偏导，这个复合函数层层嵌套，这是理解反向求导的内核。打个不太恰当的比方，就如同洋葱一样，剥很多层皮之后才可能看到那个洋葱心，反向求导就是这么个玩意，但是在这里，我们剥的每层皮都有价值，因为在每层皮上既可以求出损失函数对该层参数的偏导数，以方便优化，又能将损失误差通过该层的参数传递到该层的前向输入口（即上一层的输出口），以方便前面一层（里面一层）的求偏导工作。

#### 第二件事情 ####

在卷积神经网络中，误差是怎么一步一步往后传递的？如果该层有一个显示的表达式，我们很容易反向求导，可是他偏偏是以卷积模板通过滑窗的方式进行的前向计算，这个我们的求导增添了意思朦胧感。解铃还须系铃人，如果你认真思考正向的卷积到底是怎么做的，其实就很容易逆向求导。  
这里我们假设该层的逆向输入偏导数是 z ′ z' z′，他的维度和size与该层的正向输出 z z z完全一样。假设该层的正向输入为 x x x，其中的一个卷积模板filter为 y y y，整个网络的损失函数标记为 L \\mathcal L L， L \\mathcal L L对该层的正向输入 x x x求偏导的结果记为 x ′ x' x′， L \\mathcal L L对该层的正向卷积模板 y y y求偏导的结果记为 y ′ y' y′。  
**（1）如何求 L \\mathcal L L对 x x x的偏导数**  
我们回想一下模板y是怎么在输入 x x x上滑动的，每一次定格都会以相乘再求和的方式产生一个输出element，而这个element对产生他的 x x x的那几个element求导，结果就是对应位置的模板参数的数值。有没有发现，我们只要对模板 y y y之前滑过的路径进行还原，以 z ′ z' z′的每一个element对模板 y y y进行加权，从而在每一个element的位置得到一个模板 y y y的scaled版本的，这些sclaed版本的filter在重叠的位置进行点对点求和，就会得到所谓的 x ′ x' x′。当然这里面有很多技术细节，比如stride要正反向要统一、处理后要对padding部分进行裁剪。  
**（2）如何求 L \\mathcal L L对卷积模板 y y y的偏导数**  
可以发现，正向输出 z z z的每一个元素，模板 y y y都有参与。我们在这里先假设正向卷积操作的stride=1。把逆向输入 z ′ z' z′当做`filter`，对正向输入 x x x进行进行滑窗卷积，每一次定格卷积，都是在对filter  y y y中的一个element进行求导计算。所有位置都滑过做完了卷积，那么 L \\mathcal L L对卷积模板y的求导运算就算完成了。这里还有一个细节问题需要注意，如果stride大于等于2，就会涉及到`dilation`(膨胀)，这在pytorch卷积API中有介绍，这里的dilation是对卷积模板而言，如果正向的stride = 1，那么逆向求导过程中dilation=1，其实就是卷积模板内部相邻元素没有间隔。如果正向stride=2，在情况（2）的逆向求导卷积过程中，则dilation=2，即卷积模板 z ′ z' z′的相邻元素之间的间隔为2（也就是空一格），但是逆向求导卷积过程中stride=1，这个一定要理解好。过段时间有空可以画画图，最近很忙，就先以文字形式进行记录。

*  从以上推导中可以看出，逆向求导会用到该层的逆向输入偏导数 z ′ z' z′，这是必然的；
 *  也会用到该层的正向输入 x x x，求 L \\mathcal L L对正向卷积模板 y y y的偏导数 y ′ y' y′时会用到 x x x；
 *  正向卷积模板 y y y会用到，求 L \\mathcal L L对正向输入 x x x的偏导数 x ′ x' x′时会用到 y y y。