自动微分的一般理论

你的名字 2023-01-03 01:21 151阅读 0赞

### 目录 ###

*   *  1.自动微分原理简介
     *  2.python代码实现

## 1.自动微分原理简介 ##

自动微分(Automatic Differentiation )的目的是为了求函数在某点的导数值。它可以认为是介于符号计算和数值计算之间的一种求微分的方式，主要原理是利用求导的链式法则：

假设 y = v n ( v n − 1 ( v n − 2 . . . ( v 1 ( x ) ) ) ) \\pmb\{y\}=v\_n(v\_\{n-1\}(v\_\{n-2\}...(v\_1(\\pmb\{x\})))) yyy=vn(vn−1(vn−2...(v1(xxx))))，则y关于x的导数 d y d x \\frac\{dy\}\{dx\} dxdy为：  
 d y d x = d y d v n d v n d x = d y d v n d v n d v n − 1 . . . d v 2 d v 1 d v 1 d x \\frac\{dy\}\{dx\}=\\frac\{dy\}\{dv\_n\}\\frac\{dv\_n\}\{dx\}=\\frac\{dy\}\{dv\_n\}\\frac\{dv\_n\}\{dv\_\{n-1\}\}...\\frac\{dv\_2\}\{dv\_1\}\\frac\{dv\_1\}\{dx\} dxdy=dvndydxdvn=dvndydvn−1dvn...dv1dv2dxdv1  
依据求导的链式法则，为了计算dy/dx，我们可以依次求出上式中的微分表达式，然后将他们乘起来得到最后的结果。这又有两种实现方式：

1.前向模式（或tangent-linear mode），即沿着上式乘积的反向依次求导，先求 d v 1 d x \\frac\{dv\_1\}\{dx\} dxdv1 (seed)。它与函数求值的顺序相同，求导所需函数值可以和对应的微分一起求出来。  
2. 反向模式（或adjoint mode），即沿着上式乘积的正向依次求导，先求 d y d v v \\frac\{dy\}\{dv\_v\} dvvdy (seed)。它与函数求值的顺序相反，求导所需函数值没法和对应的微分一起求出来，得分别计算函数值和到数值。

以链式法则的一步计算  
 d v i + 1 d v i − 1 = d v i + 1 d v i d v i d v i − 1 \\frac\{dv\_\{i+1\}\}\{dv\_\{i-1\}\}=\\frac\{dv\_\{i+1\}\}\{dv\_i\}\\frac\{dv\_i\}\{dv\_\{i-1\}\} dvi−1dvi\+1=dvidvi\+1dvi−1dvi为例，前向和反向模式的区别是：

1.前向模式中 d v i d v i − 1 \\frac\{dv\_i\}\{dv\_\{i-1\}\} dvi−1dvi是已知的，需要求的是 d v i + 1 d v i \\frac\{dv\_\{i+1\}\}\{dv\_i\} dvidvi\+1，即待求导函数的自变量的导数是已知的。  
2.反向模式中 d v i + 1 d v i \\frac\{dv\_\{i+1\}\}\{dv\_i\} dvidvi\+1是已知的，需要求的是 d v i d v i − 1 \\frac\{dv\_i\}\{dv\_\{i-1\}\} dvi−1dvi，即待求导函数的因变量的导数是已知的。

注意，由多元微积分可知，M维空间到N维空间的函数f的导数是一个N×M的线性算符（雅可比矩阵），所以在多维情况下，上面涉及到的导数乘积都是矩阵乘积，这也是很多back propagation算法教程中提到的某个节点的导数要沿所有路径求和的来历。

两种自动微分模式各有不同的适用范围。对于多变量的情况，设x和y分别是M和N维的变量，当M≪N时，比较适合用前向模式，因为每次自动微分都求出所有相关节点关于一个自变量分量xi的导数d⋅/dxi，一共只需要执行M次自动求导便可求出完整的雅克比矩阵。反之，当M≫N时，适合用反向模式，因为每次自动求导都求出函数yi(x)关于所有相关节点的导数dyi/d⋅，要求出完成的雅克比矩阵需要执行N次自动求导。在实际问题中，输入x的维度往往远大于输出y的维度(比如在物理问题中x通常表示计算空间的离散网格，以及在神经网络中的应用)，因此反向模式更为常用。  
关于自动微分详细的教程可以参见文献 \[1\] ，从原理到实现都有很详细的介绍。

## 2.python代码实现 ##

上一章节关于前向模式和反向模式的描述比较适合概念上的理解，本节首先提供一种更适合实际代码实现的描述。  
假设 y = f ( x ) \\pmb\{y\}=f(\\pmb\{x\}) yyy=f(xxx)，引入两个辅助变量s和t，并定义  
 x ( 1 ) = ∂ x ∂ s \\pmb\{x\}^\{(1)\}=\\frac\{\\partial \\pmb\{x\}\}\{\\partial s\} xxx(1)=∂s∂xxx  
 y ( 1 ) = ∂ y ∂ s \\pmb\{y\}^\{(1)\}=\\frac\{\\partial \\pmb\{y\}\}\{\\partial s\} yyy(1)=∂s∂yyy  
以及  
 x ( 1 ) = ∂ t ∂ x \\pmb\{x\}\_\{(1)\}=\\frac\{\\partial t\}\{\\partial \\pmb\{x\}\} xxx(1)=∂xxx∂t  
 y ( 1 ) = ∂ t ∂ y \\pmb\{y\}\_\{(1)\}=\\frac\{\\partial t\}\{\\partial \\pmb\{y\}\} yyy(1)=∂yyy∂t  
这样，前向微分可以表示为已知 x ( 1 ) \\pmb\{x\}^\{(1)\} xxx(1) 求 y ( 1 ) \\pmb\{y\}^\{(1)\} yyy(1)，即利用公式 y ( 1 ) = ∂ y ∂ x x ( 1 ) \\pmb\{y\}^\{(1)\}=\\frac\{\\partial y\}\{\\partial x\}\\pmb\{x\}^\{(1)\} yyy(1)=∂x∂yxxx(1);而反向微分则是已知 y ( 1 ) \\pmb\{y\}^\{(1)\} yyy(1)求 x ( 1 ) \\pmb\{x\}^\{(1)\} xxx(1) ，即利用公式 x ( 1 ) = y ( 1 ) ∂ y ∂ x \\pmb\{x\}^\{(1)\}=\\pmb\{y\}^\{(1)\}\\frac\{\\partial y\}\{\\partial x\} xxx(1)=yyy(1)∂x∂y。两者的共同点是要求导数，而不同点是一个是已知x的导数另一个是已知y的导数。用有向图来表述就是 s → x → y → t s\\rightarrow x \\rightarrow y \\rightarrow t s→x→y→t，在求出 x → y x \\rightarrow y x→y这部分导数之后，前向模式是计算 s → x → y s\\rightarrow x \\rightarrow y s→x→y，而反向模式是计算 x → y → t x \\rightarrow y \\rightarrow t x→y→t 这部分导数。  
另外，分别令 s = x , t = y s=x,t=y s=x,t=y，可以发现前向模式中， x ( 1 ) = 1 , y ( 1 ) = d y d x x^\{(1)\}=1,y^\{(1)\}=\\frac\{dy\}\{dx\} x(1)=1,y(1)=dxdy为所求导数，反向模式中 y ( 1 ) = 1 , x ( 1 ) = d y d x y^\{(1)\}=1,x^\{(1)\}=\\frac\{dy\}\{dx\} y(1)=1,x(1)=dxdy。

参考：  
\[1\] The Art of Differentiating Computer Programs- An Introduction to Algorithmic Differentiation.  
\[2\][back propagation (BP)算法拓展——自动微分简介：前向模式、反向模式及python代码实现][back propagation _BP_python].

[back propagation _BP_python]: https://www.cnblogs.com/simplex/p/6777895.html