一图看懂梯度、散度、旋度、Jacobian、Hessian和Laplacian

怼烎@ 2022-10-22 10:55 152阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

文自  深度学习算法与计算机视觉

**一、入门**

![19a07c9b5a50b1d4d8ccd931128b838f.png][]

图中的细实线箭头表示了四种一阶微分运算，包括梯度、散度、旋度和 Jacobian。每条箭头的起点表示了相应运算的自变量的类型，终点表示了相应运算的因变量的类型，例如梯度运算是作用在标量上的，结果是向量。图中的「向量」默认为列向量。

这四种一阶微分运算可以统一用算符 （读作 nabla）表示。Nabla 算符是一个形式向量 ，它可以如下地作用于标量 或向量 上：

*  直接与标量 相乘，得到 的梯度 。
 *  与向量 点乘，得到 的散度 。本文把点乘用矩阵乘法的形式写作 。
 *  与向量 叉乘，得到 的旋度 。
 *  若允许偏导算符写在变量的右边，则 就可以表示 的 Jacobian。

图中的粗实线箭头表示了两种二阶微分运算，它们可以由两个一阶微分运算组合而成，即：

*  梯度的散度就是 Laplacian；
 *  梯度的 Jacobian 就是 Hessian。

图中的虚线箭头表示了一种不涉及微分的运算（迹）。在微分运算之后接上「迹」运算，可能得到另一种微分运算，如：

*  Jacobian 的迹就是散度；
 *  Hessian 的迹就是 Laplacian。

**二、入迷**

![5ade9b94002ffd1a09670a64fe28142b.png][]

图中的四种一阶微分运算两两搭配，一共可以得到 7 种二阶微分运算。第一节的图中画出了两种，本节的图中画出了另外五种（浅蓝色与灰色）。这五种二阶微分运算并没有特别的名字，但其中有两种是恒等于 0 的：

*  梯度的旋度恒为零向量；
 *  旋度的散度恒为 0。

其中，「梯度无旋」可以用下面的图形象说明（图片来自@得分的）：

![4c4faaec291be2a8e9fffe93c53759ab.png][]

如果梯度有旋会怎么样？

**三、入魔**

![ae73572ae31de032fa6fc3ab6bdb0b75.png][]

Laplacian 是一个作用于标量的二阶微分运算，其结果也是标量。但我们也可以把它作用于一个向量的每一个元素，得到一个向量；这种运算称为向量 Laplacian。

Laplacian 运算作用于标量 上的结果可以用 nabla 算符写成 。这种写法无法直接推广到向量 Laplacian，因为 里 无法直接跟 做矩阵乘法。但如果允许偏导算符写在变量右边，那就可以把向量 Laplacian 表示成 。这是 Jacobian 运算与「矩阵右乘 」运算的复合；后者的效果是对矩阵的每一行求散度。图中恰好有一个为「逐行散度」运算准备的空位，我们把它补充到图中。

向量 Laplacian 的结果，恰好等于「散度的梯度」与「旋度的旋度」之差。为了体现出这种关系，我把「从向量到向量」的三种二阶微分运算改用橙红色箭头表示。

**四、入土**

![2ed85fdde8ff35ed4b0fc0452052123b.png][]

既然引入了「逐行散度」这个一阶微分运算，那就索性把它能组合出来的二阶微分运算也全都放到图里去吧！这样就得到了一个完美对称的图，它包含了 11 种二阶微分运算，其中：

*  有两种比较常见：Laplacian 和 Hessian；
 *  有两种恒等于零：「梯度的旋度」和「旋度的散度」；
 *  有三种满足减法关系：向量 Laplacian = 散度的梯度 - 旋度的旋度；
 *  剩下的四种没有专门的名字，也很罕见。

其中任何一种微分运算后面接上「迹」，都可以得到另一种同阶微分运算：

*  Jacobian 的迹就是散度；
 *  Hessian 的迹就是 Laplacian；
 *  旋度的 Jacobian 的迹就是旋度的散度，恒等于 0；
 *  矩阵逐行散度的 Jacobian 的迹，就是它的逐行散度的散度。

但需要注意只能在运算之后接上「迹」，在运算之前接「迹」是不行的，比如矩阵的迹的梯度不等于它的逐行散度。

如果有读者知道图中几种没有名字的运算叫什么名字、有什么用途，或者在图中内容之外还有什么值得包括进来的微分运算，欢迎补充。

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![af03fdcd80c9dba1de4f1f88345d1fe1.png][]

[19a07c9b5a50b1d4d8ccd931128b838f.png]: /images/20221022/2aef1c168abe48b5ac64235a0fb11be8.png
[5ade9b94002ffd1a09670a64fe28142b.png]: /images/20221022/2e4c5c93f8154aaaad30729e328694bf.png
[4c4faaec291be2a8e9fffe93c53759ab.png]: /images/20221022/62d4603d6d7b445787394542226c0ae2.png
[ae73572ae31de032fa6fc3ab6bdb0b75.png]: /images/20221022/5425ea18c6bb486c9688c94dad3f50da.png
[2ed85fdde8ff35ed4b0fc0452052123b.png]: https://img-blog.csdnimg.cn/img_convert/2ed85fdde8ff35ed4b0fc0452052123b.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[af03fdcd80c9dba1de4f1f88345d1fe1.png]: https://img-blog.csdnimg.cn/img_convert/af03fdcd80c9dba1de4f1f88345d1fe1.png