CV中必要的数学知识_奇异值的物理意义是什么？

╰半夏微凉° 2022-12-10 11:29 220阅读 0赞

# 奇异值的物理意义是什么？ #

矩阵奇异值的物理意义是什么？  
或者说，奇异值形象一点的意义是什么？  
  
把m\*n矩阵看作从m维空间到n维空间的一个线性映射，  
是否：  
各奇异向量就是坐标轴，奇异值就是对应坐标的系数？  
  
（题目可能问得不好，欢迎帮忙修改）

矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解（Singular Value Decomposition，简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。下面先尽量避开严格的数学符号推导，直观的从一张图片出发，让我们来看看奇异值代表什么意义。

这是女神上野树里（Ueno Juri）的一张照片，像素为高度450\*宽度333。暂停舔屏先（痴汉脸

![1ff7bd311a0afb25bfc0c5a7f0d64a82.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

![57805c3c67e31a7ebf3d20bd379454d7.png][]

![20200926090805179.png][]

![67b26b479b1cecc162f3d57b4806818f.png][]

隐约可以辨别这是短发伽椰子的脸……但还是很模糊，毕竟我们只取了5个奇异值而已。下面我们取20个奇异值试试，也就是(1)式等式右边取前20项构成![20200926090824439.png][]

![124c85c293703ae5aee63658dff134df.png][]

虽然还有些马赛克般的模糊，但我们总算能辨别出这是Juri酱的脸。当我们取到(1)式等式右边前50项时：

![5f3e257b4459ac682e7358c9aaf57e72.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

![5867008d010f4b70671638e4ff115fbc.png][]

但往往我们只能得到如下带有噪声的图像（和无噪声图像相比，下图的部分白格子中带有灰色）：

![5787cab471a082b9e24cafe5349ef208.png][]

通过奇异值分解，我们发现矩阵的奇异值从大到小分别为：14.15，4.67，3.00，0.21，……，0.05。除了前3个奇异值较大以外，其余奇异值相比之下都很小。强行令这些小奇异值为0，然后只用前3个奇异值构造新的矩阵，得到

![a82b0b44997fa47dcc4a86312c75b6ed.png][]

可以明显看出噪声减少了（白格子上灰白相间的图案减少了）。

奇异值分解还广泛的用于主成分分析（Principle Component Analysis，简称PCA）和推荐系统（如Netflex的电影推荐系统）等。在这些应用领域，奇异值也有相应的意义。

考虑题主在问题描述中的叙述：“把m\*n矩阵看作从m维空间到n维空间的一个线性映射，是否：各奇异向量就是坐标轴，奇异值就是对应坐标的系数？”我猜测，题主更想知道的是奇异值在数学上的几何含义，而非应用中的物理意义。下面简单介绍一下奇异值的几何含义，主要参考文献是美国数学协会网站上的文章\[1\]。

下面的讨论需要一点点线性代数的知识。线性代数中最让人印象深刻的一点是，要将矩阵和空间中的线性变换视为同样的事物。比如对角矩阵![M][]作用在任何一个向量上

![20200926090619602.png][]

其几何意义为在水平![x][M]方向上拉伸3倍，![y][M]方向保持不变的线性变换。换言之对角矩阵起到作用是将水平垂直网格作水平拉伸（或者反射后水平拉伸）的线性变换。

![ca8d1a65d27bb17b9a80858fb1e2282f.png][]![c8e9cd6d27b7f1cb7de952ebf3466171.png][]

如果![M][]不是对角矩阵，而是一个对称矩阵

![20200926090600124.png][]

那么，我们也总可以找到一组网格线，使得矩阵作用在该网格上仅仅表现为（反射）拉伸变换，而没有旋转变换

![f08b1f329d0e9c638d4a1f7cb414297c.png][]![5bb7c3263eeb8559d37f5e9e3fc52c0d.png][]

考虑更一般的非对称矩阵

![20200926090540995.png][]

很遗憾，此时我们再也找不到一组网格，使得矩阵作用在该网格上之后只有拉伸变换（找不到背后的数学原因是对一般非对称矩阵无法保证在实数域上可对角化，不明白也不要在意）。我们退求其次，找一组网格，使得矩阵作用在该网格上之后允许有拉伸变换和旋转变换，但要保证变换后的网格依旧互相垂直。这是可以做到的

![290d0ec05611c5f6e5bda305d757686b.png][]![4e496d748617bf1b54c57f1c9371eaeb.png][]

下面我们就可以自然过渡到奇异值分解的引入。奇异值分解的几何含义为：对于任何的一个矩阵，我们要找到一组两两正交单位向量序列，使得矩阵作用在此向量序列上后得到新的向量序列保持两两正交。下面我们要说明的是，奇异值的几何含义为：这组变换后的新的向量序列的长度。

![3f7bceeddcc3f35ebf82e2fbe12c261b.png][]![b5350b98cee2025e037a1d8e1cf4e3bb.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

![d20726f131345b021479536f1d057a2e.png][]

[郑宁：人们是如何想到奇异值分解的？][Link 1]

参考文献：

\[1\] We Recommend a Singular Value Decomposition（[Feature Column from the AMS][]）

\[2\] 徐树方，《矩阵计算的理论与方法》，北京大学出版社。

**参考： https://www.zhihu.com/question/22237507**

[1ff7bd311a0afb25bfc0c5a7f0d64a82.png]: /images/20221123/7b34be9e7a524ec0b984d8b820eb6b31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221123/1e35865dab724ccab01f45a05cee8097.png
[57805c3c67e31a7ebf3d20bd379454d7.png]: /images/20221123/7a03ff75ab2a412ba40387fc0eec6f46.png
[20200926090805179.png]: /images/20221123/c754b2d88a624687aaad7ed1b9f0db69.png
[67b26b479b1cecc162f3d57b4806818f.png]: /images/20221123/392aee4dcf4d4d409cf46bad8c14e57c.png
[20200926090824439.png]: /images/20221123/4e1bf92e09504deaa8063d8eedb08f78.png
[124c85c293703ae5aee63658dff134df.png]: /images/20221123/0134a1f88d2945f2b03c65b121e3772f.png
[5f3e257b4459ac682e7358c9aaf57e72.png]: /images/20221123/e2deda07bcbd4085a015d7fdd57b8fcc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221123/913907211eee4b50a8a2ccb7dd010138.png
[5867008d010f4b70671638e4ff115fbc.png]: /images/20221123/20ef0c7421114a4599ee8101fc9a212c.png
[5787cab471a082b9e24cafe5349ef208.png]: /images/20221123/7dda0c9ca9554be0bcbafaee14e38928.png
[a82b0b44997fa47dcc4a86312c75b6ed.png]: /images/20221123/aa378aaf209245c0bc4606374587e091.png
[M]: /images/20221123/bde6cba28cb145ff990dbd12ebb46bc0.png
[20200926090619602.png]: /images/20221123/6688bd36cd594b2baf3dd8bd22e4e417.png
[ca8d1a65d27bb17b9a80858fb1e2282f.png]: https://img-blog.csdnimg.cn/img_convert/ca8d1a65d27bb17b9a80858fb1e2282f.png
[c8e9cd6d27b7f1cb7de952ebf3466171.png]: /images/20221123/f58cf51f2763433a8e708ec97a4f11b0.png
[20200926090600124.png]: /images/20221123/c8da035e299d4165badb468bfac93dd7.png
[f08b1f329d0e9c638d4a1f7cb414297c.png]: https://img-blog.csdnimg.cn/img_convert/f08b1f329d0e9c638d4a1f7cb414297c.png
[5bb7c3263eeb8559d37f5e9e3fc52c0d.png]: /images/20221123/4e45dcc64bd14e8bb74c78b366c1411b.png
[20200926090540995.png]: /images/20221123/01211ad764424d4eba606f364fdf1680.png
[290d0ec05611c5f6e5bda305d757686b.png]: https://img-blog.csdnimg.cn/img_convert/290d0ec05611c5f6e5bda305d757686b.png
[4e496d748617bf1b54c57f1c9371eaeb.png]: /images/20221123/f724a0398cce4fd5a0ad0d854be804cc.png
[3f7bceeddcc3f35ebf82e2fbe12c261b.png]: https://img-blog.csdnimg.cn/img_convert/3f7bceeddcc3f35ebf82e2fbe12c261b.png
[b5350b98cee2025e037a1d8e1cf4e3bb.png]: /images/20221123/c9bbf4c512b44d639a2bfeb5216363ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20221123/33670bf503f8459ab2edb33c2d6ad5d4.png
[d20726f131345b021479536f1d057a2e.png]: /images/20221123/ee48abc446d24009afe366e6965f1750.png
[Link 1]: https://www.zhihu.com/question/263722514/answer/272977924
[Feature Column from the AMS]: https://link.zhihu.com/?target=http%3A//www.ams.org/samplings/feature-column/fcarc-svd