A direct formulation for sparse PCA using semidefinite programming

素颜马尾好姑娘i 2021-12-21 20:41 207阅读 0赞

目录

  • 背景

  • Sparse eigenvectors(单个向量的稀疏化)

    • 初始问题（low-rank的思想？）
    • 等价问题
    • 最小化\(\lambda\) 得到下列问题（易推）
    • 再来一个等价问题
    • 条件放松（凸化）
  • A robustness interpretation
  • 收缩
  • 关于半正定规划，回头再看看。

在这里插入图片描述

背景

上篇总结了一些收缩法，这篇论文就是一个示例，虽然这篇论文是在那人之前写的。

Sparse eigenvectors(单个向量的稀疏化)

\(A \in \mathrm{S}^{n} \rightarrow n\times n半正定矩阵\)

初始问题（low-rank的思想？）

在这里插入图片描述
\(\mathbf{Card}(x)\)表示\(x\)里面的非零元的个数。

等价问题

在这里插入图片描述

最小化\(\lambda\) 得到下列问题（易推）

在这里插入图片描述

再来一个等价问题

在这里插入图片描述
思路：
\(x^\mathrm{T}Ax=\mathbf{Tr}(x^\mathrm{T}Ax) = \mathbf{Tr}(Axx^{\mathrm{T}})\)
\(xx^{\mathrm{T}}\rightarrow X\)
显然\(X\)是需要符合那些额外条件的。

条件放松（凸化）

在这里插入图片描述

A robustness interpretation

考虑惩罚项：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

最大化最小，体现了robust？
在这里插入图片描述

最后是算了最大里面的最小，这才是robust?
在这里插入图片描述

收缩

结果就是取\(X\)的首特征向量，然后，再利用Hotelling’s deflation（之前也分析过了，这个收缩方法其实并不适用，用正交投影比较好）。

关于半正定规划，回头再看看。

转载于:https://www.cnblogs.com/MTandHJ/p/10527972.html

发表评论

表情：
评论列表 （有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读