矩阵白化

青旅半醒 2023-06-04 02:50 17阅读 0赞

# [矩阵白化][Link 1] #

作者：桂。

时间：2017-04-11  22:08:55

链接：[http://www.cnblogs.com/xingshansi/p/6696793.html][http_www.cnblogs.com_xingshansi_p_6696793.html]

声明：欢迎被转载，不过记得注明出处哦~

![1085343-20170411221431454-869162860.jpg][]

--------------------

**前言**

> 在子空间分析、独立成分分析等应用中，经常用到矩阵白化，这里简单总结一下，主要包括：
> 
> 　　1）满秩矩阵的白化；
> 
> 　　2）秩亏缺矩阵的白化；
> 
> 　　3）白化与PCA的关系；
> 
> 内容为自己的学习记录，其中多有借鉴他人之处，最后一并给出链接。

**一、满秩矩阵的白化**

令![1085343-20170411221752422-1963004480.png][]是随机向量，零均值，其协方差矩阵：

![1085343-20170411221823547-842879850.png][]

如果协方差矩阵非奇异，对其特征值分解（特征值及SVD的细节信息，[前文有介绍][Link 2]）：

![1085343-20170411222546922-753448416.png][]

定义矩阵：

![1085343-20170412065834407-1503077431.png][]

WW成为aa的白化矩阵。白化后的信号：

![1085343-20170411222801782-1952200752.png][]

其协方差矩阵等于单位阵。

总结一下步骤：

> **步骤一**：去均值，中心化
> 
> **步骤二**：求协方差矩阵，并进行特征值分解
> 
> **步骤三**：求解白化矩阵，并得到白化后的信号

给出一段示意代码：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>x = -10:.1:10;</code> 
     </div> 
     <div> 
      <code>x = x +</code> 
      <code>randn</code> 
      <code>(1,</code> 
      <code>length</code> 
      <code>(x));</code> 
     </div> 
     <div> 
      <code>y = 0.6*x +&nbsp;</code> 
      <code>randn</code> 
      <code>(1,</code> 
      <code>length</code> 
      <code>(x));</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>%whiten</code> 
     </div> 
     <div> 
      <code>data = [x;y];</code> 
     </div> 
     <div> 
      <code>C = data*data';</code> 
     </div> 
     <div> 
      <code>[u,s,v] =&nbsp;</code> 
      <code>svd</code> 
      <code>(C);</code> 
     </div> 
     <div> 
      <code>W = v*</code> 
      <code>diag</code> 
      <code>(1./</code> 
      <code>sqrt</code> 
      <code>(</code> 
      <code>diag</code> 
      <code>(s)))*v';</code> 
     </div> 
     <div> 
      <code>b = W*data;</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

对应结果：

![1085343-20170411223043516-1514590171.png][]

可见白化其实就是让信号尽可能不相关。在分析PCA的时候，我们知道特征值与对应方向的方差有关联，所以白化就是这个思路：首先旋转坐标轴，其次根据对应方向的方差（特征值）进行伸缩，中心化的目的就是为了保证变换前后数据中心对应坐标轴中心，而不至于因为旋转/伸缩而偏离坐标原点太过分：

![1085343-20170411224648844-847470067.png][]

是不是觉得与PCA相像？后面给出分析。

**二、秩亏缺矩阵的白化**

当协方差矩阵为秩亏缺时，可以写为：

![1085343-20170411230449141-368486946.png][]

此时白化矩阵为：

![1085343-20170411230610469-2135536792.png][]

白化后的信号：

![1085343-20170411222801782-1952200752.png][]

此时白化后信号的协方差矩阵：

![1085343-20170411230730063-1731389638.png][]

至此，完成白化。这也容易理解，有效信号占一个子空间，对子空间白化，就是对有效信号进行白化。

**三、白化与PCA**

[PCA前文有分析][PCA]，给出PCA步骤：

> **步骤一**：数据中心化——去均值；
> 
> **步骤二**：求解协方差矩阵；
> 
> **步骤三**：利用特征值分解/奇异值分解 求解特征值以及特征向量；
> 
> **步骤四**：利用特征向量构造投影矩阵；
> 
> **步骤五**：利用投影矩阵，得出降维的数据。

以上文二维数据为例：

![1085343-20170411231124532-50809660.png][]

*  **中心化**：白化的中心化，PCA也需要中心化；
 *  **旋转**：白化步骤中的**旋转，即旋转后的坐标**就是PCA对应的**第一、第二投影方向**，如图中红线、绿线所示；
 *  **拉伸**：不同维度的特征值通常差别较大，在PCA中就是对**特征值进行归一化**。如果将不同维度的数据看作不同特征，白化步骤的**拉伸本质也是特征的归一化**。

**参考：**

张贤达：《矩阵分析与应用》

转载于:https://www.cnblogs.com/think90/p/11508964.html

[Link 1]: https://www.cnblogs.com/xingshansi/p/6696793.html
[http_www.cnblogs.com_xingshansi_p_6696793.html]: http://www.cnblogs.com/xingshansi/p/6696793.html
[1085343-20170411221431454-869162860.jpg]: /images/20230601/c8f5e656ba2f43edb2d6ff253a55b02d.png
[1085343-20170411221752422-1963004480.png]: /images/20230601/9e34f07ee1a4457298956723ae8b3e88.png
[1085343-20170411221823547-842879850.png]: /images/20230601/91264a5619c8401580113be3910e996e.png
[Link 2]: http://www.cnblogs.com/xingshansi/p/6661230.html
[1085343-20170411222546922-753448416.png]: /images/20230601/e2bb2b9ff3144d2c8b81470cafec9f40.png
[1085343-20170412065834407-1503077431.png]: /images/20230601/8b1ceed8fe064215851850a008e77487.png
[1085343-20170411222801782-1952200752.png]: /images/20230601/6a9c90497dba4e44b616f32be632e442.png
[1085343-20170411223043516-1514590171.png]: /images/20230601/3be609929253416c9c6abe09b6f8b846.png
[1085343-20170411224648844-847470067.png]: /images/20230601/32f08cf0e30e4a079ac0251135099052.png
[1085343-20170411230449141-368486946.png]: /images/20230601/d91575b595d447dc966b7e4cae58348c.png
[1085343-20170411230610469-2135536792.png]: /images/20230601/303b21019b5b47daa61d268c82201aff.png
[1085343-20170411230730063-1731389638.png]: /images/20230601/88420c465c4c4680a199f1f7d2435a2c.png
[PCA]: http://www.cnblogs.com/xingshansi/p/6445625.html
[1085343-20170411231124532-50809660.png]: /images/20230601/858b788bd94d4b15b4745af6c220c9c2.png