MIT 线性代数导论第十七讲：正交矩阵和Graham-Shcimidt正交化

灰太狼 2022-05-09 14:48 250阅读 0赞

本讲的主要内容：

*  正交向量组以及正交基的概念
 *  正交矩阵
 *  Graham-Schimidt正交化的方法

### 正交向量组、正交基以及正交矩阵 ###

再上一讲中，讲到了正交的概念，如果有一系列向量  q 1 , q 2 , . . . q n q\_\{1\},q\_\{2\},...q\_\{n\} q1,q2,...qn， 两两正交，那么这一组向量就是一个**正交向量组**，对于  n n n 维空间的  n n n个正交向量（当然， n n n 维空间也只有最多  n n n个正交向量）那么这  n n n 个正交向量就构成了这个空间的一组基，称为 **正交基**，如果在这个基础上，保证每个向量都是单位向量，则称为 **规范正交基**，如果我们将这些正交向量写成矩阵的形式，即  Q = ( q 1 , q 2 , . . . q n ) Q=(q\_\{1\},q\_\{2\},...q\_\{n\}) Q=(q1,q2,...qn) ，那么这个方阵称为**正交矩阵**，注意这里必须是方阵，才可以称为正交矩阵，同时，我们可以推导出这样的结论:  Q T Q = I Q^\{T\}Q = I QTQ=I（如果我们展开矩阵乘一下，结论其实非常明显），总结下来，正交矩阵有三个条件：

*  矩阵为方阵
 *  矩阵的列向量均为单位向量
 *  转置矩阵与矩阵的乘积是单位阵

举几个例子：  
 ( 1 0 0 0 1 0 0 0 1 ) 、 ( s i n θ − c o s θ c o s θ 0 s i n θ ) 、 1 2 ( 1 − 1 1 1 ) \\begin\{pmatrix\} 1 &0 &0 \\\\ 0 & 1 & 0\\\\ 0 & 0 &1 \\end\{pmatrix\}、\\begin\{pmatrix\} sin\\theta & -cos\\theta \\\\ cos\\theta0 & sin\\theta \\end\{pmatrix\}、\\frac\{1\}\{\\sqrt\{2\}\}\\begin\{pmatrix\} 1 & -1\\\\ 1 & 1 \\end\{pmatrix\} ⎝⎛100010001⎠⎞、(sinθcosθ0−cosθsinθ)、21(11−11)  
以上这些矩阵都是正交矩阵，正交矩阵一般简记为  Q Q Q。

那么我们使用正交矩阵的目的是什么呢？  
如果在计算中使用正交阵，可以简化很多地方的计算，例如，对于投影操作来说，我们之前有投影矩阵：  
 P = A ( A T A ) − 1 A T P=A(A^\{T\}A)^\{-1\}A^\{T\} P=A(ATA)−1AT  
如果这个矩阵是正交矩阵：  
 P = Q ( Q T Q ) − 1 Q T = Q Q T = I P=Q(Q^\{T\}Q)^\{-1\}Q^\{T\} = QQ^\{T\} = I P=Q(QTQ)−1QT=QQT=I  
我们之前的最小二乘的方程：  
 A T A x ^ = A T b ⇒ Q T Q x = Q T b ⇒ x ^ = Q T b A^\{T\}A\\hat\{x\} = A^\{T\}b\\\\ \\Rightarrow Q^\{T\}Qx = Q^\{T\}b \\\\ \\Rightarrow \\hat\{x\} = Q^\{T\}b ATAx^=ATb⇒QTQx=QTb⇒x^=QTb  
形式上，都变得简洁了。

### Graham-Schimidt正交化 ###

接下来讨论如何由一组向量获得正交的向量组，也就是正交化的问题：  
对于两个无关的向量  a a a，  b b b，如何将其正交化呢？这里借助之前讲到的投影的概念会很好理解：

![在这里插入图片描述][70]

之前再投影的学习过程中，我们关注的投影到向量  a a a 上的部分  p p p ，现在对于正交来说，如果保持  a a a 不变，那么我们则是需要把关心  b b b 再垂直于  a a a 的方向上的分量，也就是  e e e ，这个向量在之前被称作误差，设两个向量正交之后的向量为  A A A 、  B B B,则根据之前图中的关系，可以知道，我们假定  a a a 是不会变的，也就是：  
 A = a A = a A=a  
对于  b b b 处理：  
 B = b − A T b A T A A B = b - \\frac\{A^\{T\}b\}\{A^\{T\}A\}A B=b−ATAATbA  
这个式子也就是上面图中的关系：  e = b − p e = b - p e=b−p。  
这样得到的  A A A和  B B B 则是正交的了， 我们可以使用正交的概念进行验证。  
如果我们将这个结论推广到更多的矩阵中，例如，三个向量的时候，前两个向量显然是一样的过程，对于地三个向量，计算过程其实原理是一样的，分别减去对前两个向量的分量即可：  
 C = c − A T c A T A A − B T c B T B B C = c-\\frac\{A^\{T\}c\}\{A^\{T\}A\}A - \\frac\{B^\{T\}c\}\{B^\{T\}B\}B C=c−ATAATcA−BTBBTcB

上面的过程找个题目练习就好。

以上~

[70]: /images/20220506/e9516de0cecc42d5859b9913a269eb5b.png