几种矩阵分解算法： LU分解，Cholesky分解，QR分解，SVD分解，Jordan分解

太过爱你忘了你带给我的痛 2022-01-17 20:35 307阅读 0赞

**目录**

[1.LU分解][1.LU]

[2. LDLT分解法][2. LDLT]

[3. Cholesky分解的形式][3. Cholesky]

[4. QR分解][4. QR]

[5.SVD分解][5.SVD]

[5.1 SVD与广义逆矩阵][5.1 SVD]

[6. Jordan 分解][6. Jordan]

[参考文章：][Link 1]

--------------------

\---------我只是搬运工，汇总在此

# 1.LU分解 #

假定我们能把矩阵A写成下列两个矩阵相乘的形式：A=LU，其中L为下三角矩阵，U为上三角矩阵。这样我们可以把线性方程组Ax= b写成

Ax= (LU)x = L(Ux) = b。令Ux = y，则原线性方程组Ax = b可首先求解向量y 使Ly = b，然后求解 Ux = y，从而达到求解线性方程组Ax= b的目的。

![SouthEast][]

# 2. LDLT分解法 #

实际问题中，当求解方程组的系数矩阵是**对称矩阵**时，则用下面介绍的LDLT分解法可以简化程序设计并减少计算量。

从定理可知，当矩阵A的各阶顺序主子式不为零时，A有唯一的Doolittle分解A= LU。矩阵U的对角线元素Uii 不等于0，将矩阵U的每行依次提出，![21952485][]

![SouthEast 1][]

定理：若对称矩阵A的各阶顺序主子式不为零时，则A可以唯一分解为A= LDLT，这里

![SouthEast 2][]

LT为L的转置矩阵。

当A有LDLT分解时，利用矩阵运算法则及相等原理易得计算ljk和dk的公式为

![SouthEast 3][]

# 3. Cholesky分解 #

Cholesky分解是一种分解矩阵的方法, 在线形代数中有重要的应用。Cholesky分解把矩阵分解为一个下三角矩阵以及它的共轭转置矩阵的乘积（那实数界来类比的话，此分解就好像求平方根）。与一般的矩阵分解求解方程的方法比较，Cholesky分解效率很高。

**Cholesky分解的条件**

一、Hermitianmatrix：矩阵中的元素共轭对称（复数域的定义，类比于实数对称矩阵）。Hermitiank意味着对于任意向量x和y，(x\*)Ay共轭相等

二、Positive-definite：正定（矩阵域，类比于正实数的一种定义）。正定矩阵A意味着，对于任何向量x，(x^T)Ax总是大于零(复数域是(x\*)Ax>0)

Cholesky分解的形式

可记作A = L L\*。其中L是下三角矩阵。L\*是L的共轭转置矩阵。

可以证明，只要A满足以上两个条件，L是唯一确定的，而且L的对角元素肯定是正数。反过来也对，即存在L把A分解的话，A满足以上两个条件。

*  Hermitianmatrix：矩阵中的元素共轭对称（复数域的定义，类比于实数对称矩阵）。Hermitiank意味着对于任意向量x和y，(x\*)Ay共轭相等
 *  Positive-definite：正定（矩阵域，类比于正实数的一种定义）。正定矩阵A意味着，对于任何向量x，(x^T)Ax总是大于零(复数域是(x\*)Ax>0)

如果A是半正定的（semi-definite），也可以分解，不过这时候L就不唯一了。

特别的，如果A是实数对称矩阵，那么L的元素肯定也是实数。

另外，满足以上两个条件意味着A矩阵的特征值都为正实数，因为Ax = lamda \* x,

(x\*)Ax = lamda \* (x\*)x > 0, lamda > 0

# **4. QR分解** #

*  矩阵的QR分解是指，可以将矩阵A分级成一个正交阵Q和一个上三角矩阵R的乘积。实际中，QR分解经常被用来解线性最小二乘问题

。![è¿éåå¾çæè¿°][20160925161032087]

*  对于非方阵的m∗n(m≥n)m∗n(m≥n)阶矩阵A也可能存在QR分解。这时Q为m\*m阶的正交矩阵，R为m\*n阶上三角矩阵。这时的QR分解不是完整的(方阵)，因此称为约化QR分解(对于列满秩矩阵A必存在约化QR分解)。同时也可以通过扩充矩阵A为方阵或者对矩阵R补零，可以得到完全QR分解。

# 5.SVD分解 #

对任意![20181225064940910][]矩阵![20181225064940929][]，都能被奇异值分解为

![20181225064940944][]

其中![20181225064940960][]是![20181225064940973][]的正交矩阵，![20181225064940988][]是![201812250649411][]的正交矩阵，![2018122506494120][]是由![2018122506494134][]个沿对角线**从大到小排列**的奇异值

组成的方阵，![2018122506494148][]就是矩阵![20181225064941147][]的秩。奇异值分解是一种正交矩阵分解法。

![20171120105946015][]

更多解释参考4.

SVD分解常用在信息压缩，以及求广义逆：

## **5.1 SVD与广义逆矩阵** ##

在认识矩阵的广义逆之前，先来回顾一下方阵的逆。

对于一个![20181225064941160][]的方阵![20181225064941249][]，如果存在一个矩阵![20181225064941264][]，使得![20181225064941278][]，那么方阵![20181225064941294][]的逆为![20181225064941309][]。

那么对于非方阵来说情况又是怎样的？ 比如对于![20181225064941400][]的矩阵![20181225064941415][]，它的逆是怎样计算的？这就是我将要 讨论的**广义逆矩阵**。 矩阵的广义逆由**Moore**在**1920**年提出，后来在**1955**年经过**Penrose**发展得到如下定义 对任意![20181225064941509][]复数矩阵![20181225064941527][]，如果存在![20181225064941540][]的矩阵![20181225064941554][]，满足

![20181225064941568][]

则称![20181225064941584][]为![20181225064941678][]的一个**Moore-Penrose逆**，简称**广义逆**，记为![20181225064941691][]。并把上面四个方程叫做**Moore-Penrose**  方程，简称**M-P方程**。

由于M-P的四个方程都各有一定的解释，并且应用起来各有方便之处，所以出于不同的目的，常常考虑满足

部分方程的![20181225064941707][]，叫做**弱逆，**弱逆不唯一。为了引用方便，下面给出广义逆矩阵的定义

对于![20181225064941721][]的矩阵![20181225064941741][]，若存在![20181225064941753][]的矩阵![20181225064941769][]，满足**M-P方程**中的全部或者其中的一部分，则称![20181225064941785][]为![20181225064941804][]

的**广义逆矩阵**。

实际上有结论：如果![20181225064941818][]满足M-P方程中的全部四个条件，那么得到的矩阵![20181225064941835][]是唯一的，如果只满足部分条件，

那么得到的矩阵![20181225064941943][]不唯一。也就是说一个矩阵![20181225064941958][]的**Moore-Penrose逆![20181225064941972][]是唯一的**。

而广义逆![20181225064941981][]的计算可以利用![20181225064941997][]的**SVD**分解得到，假设矩阵![2018122506494212][]的**SVD**分解为

![2018122506494221][]

那么，不难验证

![2018122506494237][]

有了广义逆矩阵![2018122506494253][]，那么就可以用来求解线性方程组![20181225064942124][]，假设现在已经知道了矩阵![20181225064942144][]的广义逆![20181225064942159][]，

如果矩阵![20181225064942172][]的秩是![20181225064942183][]，则其唯一解是![20181225064942283][]，如果秩小于![20181225064942299][]，则有无穷多组解，其中最小范数解仍然是

![20181225064942309][]，通常我们关心的也就是这个解。

# 6. Jordan 分解 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211Y2FpMQ_size_16_color_FFFFFF_t_70][]

但运行速度从快到慢为：  
`LU分解 > Qr分解 > 求逆`

# 参考文章： #

1.  [/images/20220118/e34b7e00b57a4a9bacb9b15c6745f1d7.png][21952485]
2.  [https://blog.csdn.net/qq\_30981697/article/details/71545519][https_blog.csdn.net_qq_30981697_article_details_71545519]
3.  [https://blog.csdn.net/renhaofan/article/details/80740697][https_blog.csdn.net_renhaofan_article_details_80740697]
4.  [https://blog.csdn.net/billbliss/article/details/78579308][https_blog.csdn.net_billbliss_article_details_78579308]
5.  [https://blog.csdn.net/xuehuafeiwu123/article/details/53321730][https_blog.csdn.net_xuehuafeiwu123_article_details_53321730]

[1.LU]: https://blog.csdn.net/mucai1/article/details/85242098#1.LU%E5%88%86%E8%A7%A3
[2. LDLT]: https://blog.csdn.net/mucai1/article/details/85242098#2.%20LDLT%E5%88%86%E8%A7%A3%E6%B3%95
[3. Cholesky]: https://blog.csdn.net/mucai1/article/details/85242098#3.%20Cholesky%E5%88%86%E8%A7%A3%E7%9A%84%E5%BD%A2%E5%BC%8F
[4. QR]: https://blog.csdn.net/mucai1/article/details/85242098#2-qr%E5%88%86%E8%A7%A3
[5.SVD]: https://blog.csdn.net/mucai1/article/details/85242098#5.SVD%E5%88%86%E8%A7%A3
[5.1 SVD]: https://blog.csdn.net/mucai1/article/details/85242098#5.1%20SVD%E4%B8%8E%E5%B9%BF%E4%B9%89%E9%80%86%E7%9F%A9%E9%98%B5
[6. Jordan]: https://blog.csdn.net/mucai1/article/details/85242098#6.%20Jordan%20%E5%88%86%E8%A7%A3
[Link 1]: https://blog.csdn.net/mucai1/article/details/85242098#%E5%8F%82%E8%80%83%EF%BC%9A
[SouthEast]: /images/20220118/883662fe944541a8a14cef6c8a4d0c2d.png
[21952485]: /images/20220118/e34b7e00b57a4a9bacb9b15c6745f1d7.png
[SouthEast 1]: /images/20220118/e5e73921b65f418585d5b44149f9e4e6.png
[SouthEast 2]: /images/20220118/0cdc5f30ab9945c6acb3e4b8e26d3cc0.png
[SouthEast 3]: /images/20220118/758e565eb1a545a7afa8abff19a11054.png
[20160925161032087]: /images/20220118/baa169a4ee944da3a2a52a001607aa98.png
[20181225064940910]: https://img-blog.csdnimg.cn/20181225064940910
[20181225064940929]: /images/20220118/61e5f4a7631e4b54a36324dba0fec2b4.png
[20181225064940944]: /images/20220118/eb8dfabc5f8844a8b0bedd69e1786a81.png
[20181225064940960]: https://img-blog.csdnimg.cn/20181225064940960
[20181225064940973]: https://img-blog.csdnimg.cn/20181225064940973
[20181225064940988]: https://img-blog.csdnimg.cn/20181225064940988
[201812250649411]: https://img-blog.csdnimg.cn/201812250649411
[2018122506494120]: https://img-blog.csdnimg.cn/2018122506494120
[2018122506494134]: /images/20220118/11fef83c24e94fe3a559e306d61923e8.png
[2018122506494148]: https://img-blog.csdnimg.cn/2018122506494148
[20181225064941147]: /images/20220118/85ac78e3a3f048a788baef632e83f0b5.png
[20171120105946015]: /images/20220118/adcaf1fe07c14aeda223291a6765dce4.png
[20181225064941160]: https://img-blog.csdnimg.cn/20181225064941160
[20181225064941249]: https://img-blog.csdnimg.cn/20181225064941249
[20181225064941264]: https://img-blog.csdnimg.cn/20181225064941264
[20181225064941278]: https://img-blog.csdnimg.cn/20181225064941278
[20181225064941294]: https://img-blog.csdnimg.cn/20181225064941294
[20181225064941309]: /images/20220118/b17fb8df85fb472d9f1a1f499e067466.png
[20181225064941400]: https://img-blog.csdnimg.cn/20181225064941400
[20181225064941415]: https://img-blog.csdnimg.cn/20181225064941415
[20181225064941509]: https://img-blog.csdnimg.cn/20181225064941509
[20181225064941527]: https://img-blog.csdnimg.cn/20181225064941527
[20181225064941540]: https://img-blog.csdnimg.cn/20181225064941540
[20181225064941554]: /images/20220118/572f3fb4e4254a93b780a3a5edc49179.png
[20181225064941568]: /images/20220118/b27e9286931748f0bef9d27165084892.png
[20181225064941584]: https://img-blog.csdnimg.cn/20181225064941584
[20181225064941678]: https://img-blog.csdnimg.cn/20181225064941678
[20181225064941691]: /images/20220118/6e8649b238f8490483b50972331f2c45.png
[20181225064941707]: /images/20220118/43d7970f1bc24c05ba7ea3e48a630977.png
[20181225064941721]: https://img-blog.csdnimg.cn/20181225064941721
[20181225064941741]: https://img-blog.csdnimg.cn/20181225064941741
[20181225064941753]: https://img-blog.csdnimg.cn/20181225064941753
[20181225064941769]: https://img-blog.csdnimg.cn/20181225064941769
[20181225064941785]: https://img-blog.csdnimg.cn/20181225064941785
[20181225064941804]: /images/20220118/b414e08d07cc461a8a4a6c2f61309bc0.png
[20181225064941818]: https://img-blog.csdnimg.cn/20181225064941818
[20181225064941835]: /images/20220118/c36cecb905724dc7a2289c1ca6c0c245.png
[20181225064941943]: https://img-blog.csdnimg.cn/20181225064941943
[20181225064941958]: https://img-blog.csdnimg.cn/20181225064941958
[20181225064941972]: /images/20220118/f5b90d0cf52644bfb6eeceabef727146.png
[20181225064941981]: https://img-blog.csdnimg.cn/20181225064941981
[20181225064941997]: https://img-blog.csdnimg.cn/20181225064941997
[2018122506494212]: /images/20220118/f7c62c884d1c406faf37d78c1cdb7892.png
[2018122506494221]: /images/20220118/a6d04aa1a54943548b29033713c8c2f9.png
[2018122506494237]: /images/20220118/a45f3ca624274d989c2e218dea9bd593.png
[2018122506494253]: https://img-blog.csdnimg.cn/2018122506494253
[20181225064942124]: /images/20220118/f7c62c884d1c406faf37d78c1cdb7892.png4
[20181225064942144]: https://img-blog.csdnimg.cn/20181225064942144
[20181225064942159]: /images/20220118/23ceba4cfa644af4a222bcf58df4c3ce.png
[20181225064942172]: https://img-blog.csdnimg.cn/20181225064942172
[20181225064942183]: https://img-blog.csdnimg.cn/20181225064942183
[20181225064942283]: https://img-blog.csdnimg.cn/20181225064942283
[20181225064942299]: /images/20220118/e1c7c21e71b4470db96cec0590e02d4a.png
[20181225064942309]: /images/20220118/e6d2d3d9a4eb44ebb8ee912acf26c8c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211Y2FpMQ_size_16_color_FFFFFF_t_70]: /images/20220118/0ce1d5aa07234d8aafb99f8ebc0d8103.png
[https_blog.csdn.net_qq_30981697_article_details_71545519]: https://blog.csdn.net/qq_30981697/article/details/71545519
[https_blog.csdn.net_renhaofan_article_details_80740697]: https://blog.csdn.net/renhaofan/article/details/80740697
[https_blog.csdn.net_billbliss_article_details_78579308]: https://blog.csdn.net/billbliss/article/details/78579308
[https_blog.csdn.net_xuehuafeiwu123_article_details_53321730]: https://blog.csdn.net/xuehuafeiwu123/article/details/53321730