机器学习：PCA算法分析

ゝ一纸荒年。 2022-04-03 02:38 179阅读 0赞

### 数据的向量表示及降维问题 ###

1）高维特征的降维，以提高运算速度  
    2）白化对特征预处理，以去除特征之间的相关性，这是很多算法的预处理步骤

--------------------

### 向量的表示及基变换 ###

两个维数相同的向量的内积被定义为： ( a 1 , a 2 , . . . , a n ) ⋅ ( b 1 , b 2 , . . . , b n ) T = a 1 b 1 + a 2 b 2 + . . . + a n b n (a\_1, a\_2, ..., a\_n) \\cdot (b\_1, b\_2, ..., b\_n)^T = a\_1b\_1 + a\_2b\_2 + ... + a\_nb\_n (a1,a2,...,an)⋅(b1,b2,...,bn)T=a1b1\+a2b2\+...\+anbn。

内积运算将两个向量映射为一个实数，这样很难理解内积究竟做了什么，现在从几何学的角度进行分析：  
    假设  A ⃗ = ( x 1 , y 1 ) \\vec\{A\} =(x1,y1) A=(x1,y1)， B ⃗ = ( x 2 , y 2 ) \\vec\{B\}=(x2,y2) B=(x2,y2) ，则在二维平面上 A ⃗ \\vec\{A\} A和 B ⃗ \\vec\{B\} B可以用两条发自原点的有向线段表示。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70]  
    现在我们从 A ⃗ \\vec\{A\} A点向 B ⃗ \\vec\{B\} B所在直线引一条垂线。我们知道垂线与 B ⃗ \\vec\{B\} B的交点叫做 A ⃗ \\vec\{A\} A在 B ⃗ \\vec\{B\} B上的投影，再设 A ⃗ \\vec\{A\} A与 B ⃗ \\vec\{B\} B的夹角是 α \\alpha α，则投影的矢量长度为： ∣ A ⃗ ∣ c o s ( α ) |\\vec\{A\}|cos(\\alpha) ∣A∣cos(α)，其中 ∣ A ⃗ ∣ = x 1 2 + y 1 2 |\\vec\{A\}|=\\sqrt\{x\_1^2 + y\_1^2\} ∣A∣=x12\+y12是向量 A ⃗ \\vec\{A\} A的模，也就是 A ⃗ \\vec\{A\} A线段的标量长度。  
    到这里还是看不出内积和这东西有什么关系，不过如果我们将内积表示为另一种我们熟悉的形式：

A ⃗ ⋅ B ⃗ = ∣ A ⃗ ∣ ∣ B ⃗ ∣ c o s ( α ) \\vec\{A\} \\cdot \\vec\{B\} = |\\vec\{A\}||\\vec\{B\}|cos(\\alpha) A⋅B=∣A∣∣B∣cos(α)

A ⃗ \\vec\{A\} A与 B ⃗ \\vec\{B\} B的内积等于 A ⃗ \\vec\{A\} A到 B ⃗ \\vec\{B\} B的投影长度乘以 B ⃗ \\vec\{B\} B的模。再进一步，如果我们假设 B ⃗ \\vec\{B\} B的模为1，即让 ∣ B ⃗ ∣ = 1 |\\vec\{B\}|=1 ∣B∣=1，那么就变成了：

A ⃗ ⋅ B ⃗ = ∣ A ⃗ ∣ c o s ( α ) \\vec\{A\} \\cdot \\vec\{B\} = |\\vec\{A\}|cos(\\alpha) A⋅B=∣A∣cos(α)

也就是说，设向量 B ⃗ \\vec\{B\} B的模为1，则 A ⃗ \\vec\{A\} A与 B ⃗ \\vec\{B\} B的内积值等于 A ⃗ \\vec\{A\} A向 B ⃗ \\vec\{B\} B所在直线投影的矢量长度！这就是内积的一种几何解释。

##### 基 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 1]  
    一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段，例如上面的向量可以表示为(3,2)，这是我们再熟悉不过的向量表示。不过我们常常忽略，只有一个(3,2)本身是不能够精确表示一个向量的。我们仔细看一下，这里的3实际表示的是向量在 x x x轴上的投影值是3，在 y y y轴上的投影值是2。也就是说我们其实隐式引入了一个定义：以 x x x轴和 y y y轴上正方向长度为1的向量为标准。那么一个向量(3,2)实际是说在 x x x轴投影为3而 y y y轴的投影为2。注意投影是一个矢量，所以可以为负。  
    更正式的说，向量 ( x , y ) (x,y) (x,y)实际上表示线性组合：

x ( 1 , 0 ) T + y ( 0 , 1 ) T x(1,0)^T + y(0,1)^T x(1,0)T\+y(0,1)T

不难证明所有二维向量都可以表示为这样的线性组合。此处(1,0)和(0,1)叫做二维空间中的一组基。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 2]  
    所以，**要准确描述向量，首先要确定一组基，然后给出在基所在的各个直线上的投影值，就可以了**。  
    我们之所以默认选择(1,0)和(0,1)为基，当然是比较方便，因为它们分别是x和y轴正方向上的单位向量，因此就使得二维平面上点坐标和向量一一对应，非常方便。  
    实际上任何两个线性无关的二维向量都可以成为一组基，所谓线性无关在二维平面内可以直观认为是两个不在一条直线上的向量,三维不不在一个平面上的向量，以此类推。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 3]  
    现在将向量（3，2）在新基 ( 1 2 , 1 2 ) (\\frac\{1\}\{\\sqrt\{2\}\},\\frac\{1\}\{\\sqrt\{2\}\}) (21,21)和 ( − 1 2 , 1 2 ) (-\\frac\{1\}\{\\sqrt\{2\}\},\\frac\{1\}\{\\sqrt\{2\}\}) (−21,21)表示，我们可以用矩阵相乘的形式简洁的表示这一变换过程：

(   1 2 , 1 2 − 1 2 , 1 2 ) \\begin\{pmatrix\}\\ \\frac\{1\}\{\\sqrt\{2\}\},\\frac\{1\}\{\\sqrt\{2\}\}& \\\\ & \\\\ -\\frac\{1\}\{\\sqrt\{2\}\},\\frac\{1\}\{\\sqrt\{2\}\}& \\end\{pmatrix\} ⎝⎛ 21,21−21,21⎠⎞  ( 3 2 ) \\begin\{pmatrix\}3 & \\\\ & \\\\ 2 & \\end\{pmatrix\} ⎝⎛32⎠⎞ =  (    5 2 − 1 2 ) \\begin\{pmatrix\} \\ \\ \\frac\{5\}\{\\sqrt\{2\}\} & \\\\ & \\\\ -\\frac\{1\}\{\\sqrt\{2\}\} & \\end\{pmatrix\} ⎝⎛  25−21⎠⎞

不难做一般性的推广：  
    如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个基按行组成矩阵**A**，然后将向量按列组成矩阵**B**，那么两矩阵的乘积**AB**就是变换结果，其中**AB**的第m列为**A**中第m列变换后的结果。

( p 1 p 2 ⋮ p R ) \\begin\{pmatrix\}p\_1\\\\ p\_2\\\\ \\vdots \\\\ p\_R\\\\ \\end\{pmatrix\} ⎝⎜⎜⎜⎛p1p2⋮pR⎠⎟⎟⎟⎞  ( a 1 , a 2 , ⋯ &ThinSpace; , a M ) (a\_1, a\_2, \\cdots, a\_M) (a1,a2,⋯,aM) =  ( p 1 a 1 p 1 a 2 ⋯ p 1 a M p 2 a 1 p 2 a 2 ⋯ p 2 a M ⋮ ⋮ ⋱ ⋮ p R a 1 p R a 2 ⋯ p R a M ) \\begin\{pmatrix\}p\_1a\_1 \\quad p\_1a\_2 \\quad \\cdots \\quad p\_1a\_M \\\\ p\_2a\_1 \\quad p\_2a\_2 \\quad \\cdots \\quad p\_2a\_M\\\\ \\vdots \\quad\\quad \\vdots \\quad\\quad \\ddots \\quad\\quad \\vdots \\\\ p\_Ra\_1 \\quad p\_Ra\_2 \\quad \\cdots \\quad p\_Ra\_M\\\\ \\end\{pmatrix\} ⎝⎜⎜⎜⎛p1a1p1a2⋯p1aMp2a1p2a2⋯p2aM⋮⋮⋱⋮pRa1pRa2⋯pRaM⎠⎟⎟⎟⎞

其中 p i p\_i pi是一个行向量，表示第i个基， a j a\_j aj是一个列向量，表示第j个原始数据记录。特别要注意的是，这里R可以小于N，而R决定了变换后数据的维数。也就是说，我们可以将一N维数据变换到更低维度的空间中去，变换后的维度取决于基的数量。因此这种矩阵相乘的表示也可以表示降维变换。  
    不难看出，**两个矩阵相乘的意义是将右边矩阵中的每一列的列向量变换到左边矩阵中以每一行中行向量为基所表示的空间中去**。

--------------------

### 协方差矩阵及优化目标 ###

上面我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？  
    假设我们的数据由五条记录组成，将它们表示成矩阵形式：

( 1 1 2 4 2 1 3 3 4 4 ) \\begin\{pmatrix\}1 & 1 & 2 & 4 & 2 \\\\ & & & & \\\\ 1 & 3 & 3 & 4 & 4 \\end\{pmatrix\} ⎝⎛1113234424⎠⎞

其中每一列为一条数据记录，而一行为一个字段。为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0。

( − 1 − 1 0 2 0 − 2 0 0 1 1 ) \\begin\{pmatrix\}-1 & -1 & 0 & 2 & 0 \\\\ & & & & \\\\ -2 & 0 & 0 & 1 & 1 \\end\{pmatrix\} ⎝⎛−1−2−10002101⎠⎞  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 4]  
    如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，要如何选择？这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。可以看出如果向 x x x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向 y y y轴投影最上面的两个点和分布在 x x x轴上的两个点也会重叠。所以看来 x x x和 y y y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。

--------------------

### 方差 ###

我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。此处，一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值，即：

V a r ( a ) = 1 m ∑ i = 1 m ( a i − μ ) 2 Var(a) = \\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\} (a\_i - \\mu)^\{2\} Var(a)=m1∑i=1m(ai−μ)2

由于上面我们已经将每个字段的均值都化为0了，因此方差可以直接用每个元素的平方和除以元素个数表示：

V a r ( a ) = 1 m ∑ i = 1 m a i 2 Var(a) = \\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\} a\_i^\{2\} Var(a)=m1∑i=1mai2

于是上面的问题被形式化表述为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大。

--------------------

### 协方差 ###

对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。  
    如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。  
    数学上可以用两个字段的协方差表示其相关性，由于已经让每个字段均值为0，则：

C o v ( a , b ) = 1 m ∑ i = 1 m a i b i Cov(a, b) = \\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\} a\_ib\_i Cov(a,b)=m1∑i=1maibi

可以看到，在字段均值为0的情况下，两个字段的协方差简洁的表示为其内积除以元素数m。  
    当协方差为0时，表示两个字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。  
    至此，我们得到了降维问题的优化目标：**将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）**。

--------------------

### 协方差矩阵 ###

上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。  
    我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。因此我们希望能将两者统一表示，仔细观察发现，两者均可以表示为内积的形式，而内积又与矩阵相乘密切相关。于是我们来了灵感：  
    假设我们只有a和b两个字段，那么我们将它们按行组成矩阵**X**：

X = ( a 1 a 2 ⋯ a m b 1 b 2 ⋯ b m ) X = \\begin\{pmatrix\}a\_1 & a\_2 & \\cdots & a\_m \\\\ & & & \\\\ b\_1 & b\_2 & \\cdots & b\_m \\end\{pmatrix\} X=⎝⎛a1b1a2b2⋯⋯ambm⎠⎞

然后我们用**X**乘以**X**的转置，并乘上系数1/m：

1 m X X T = ( 1 m ∑ i = 1 m a i 2 1 m ∑ i = 1 m a i b i 1 m ∑ i = 1 m a i b i 1 m ∑ i = 1 m b i 2 ) \\frac\{1\}\{m\} X X^T = \\begin\{pmatrix\} \\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}a\_i^2& \\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}a\_ib\_i \\\\ & \\\\ \\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}a\_ib\_i & \\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\}b\_i^2 \\end\{pmatrix\} m1XXT=⎝⎛m1∑i=1mai2m1∑i=1maibim1∑i=1maibim1∑i=1mbi2⎠⎞

奇迹出现了！这个矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。两者被统一到了一个矩阵的。根据矩阵相乘的运算法则，这个结论很容易被推广到一般情况：  
    **设我们有m个n维数据记录，将其按列排成n乘m的矩阵X，设 C = X X T C=XX^T C=XXT，则 C C C是一个对称矩阵，其对角线分别个各个字段的方差，而第i行j列和j行i列元素相同，表示i和j两个字段的协方差**。

--------------------

### 协方差矩阵对角化 ###

根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。  
    这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系：  
    设原始数据矩阵X对应的协方差矩阵为**C**，而**P**是一组基按行组成的矩阵，设**Y=PX**，则**Y**为**X**对**P**做基变换后的数据。设**Y**的协方差矩阵为**D**，我们推导一下**D**与**C**的关系：

D = 1 m Y Y T D \\quad = \\quad \\frac\{1\}\{m\} YY^T D=m1YYT  
     = 1 m ( P X ) ( P X ) T \\quad \\quad = \\quad \\frac\{1\}\{m\} (PX)(PX)^T =m1(PX)(PX)T  
     = 1 m P X X T P T \\quad \\quad = \\quad \\frac\{1\}\{m\} PXX^TP^T =m1PXXTPT  
     = P ( 1 m X X T ) P T \\quad \\quad = \\quad P(\\frac\{1\}\{m\} XX^T)P^T =P(m1XXT)PT  
     = P C P T \\quad \\quad = \\quad PCP^T =PCPT

现在事情很明白了！优化目标变成了寻找一个矩阵**P**，满足 P C P T PCP^T PCPT是一个对角矩阵，并且对角元素按从大到小依次排列，那么**P**的前K行就是要寻找的基，用P的前K行组成的矩阵乘以**X**就使得**X**从N维降到了K维并满足上述优化条件。

由上文知道，协方差矩阵**C**是一个实对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：  
    1）实对称矩阵不同特征值对应的特征向量必然正交。  
    2）设特征向量λ重数为r，则必然存在r个线性无关的特征向量对应于 λ λ λ，因此可以将这r个特征向量单位正交化。

由上面两条可知，一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量，设这n个特征向量为 e 1 e\_1 e1, e 2 e\_2 e2,⋯, e n e\_n en，我们将其按列组成矩阵：  
     E = ( e 1 , e 2 , ⋯ &ThinSpace; , e n ) E=(e\_1, e\_2, \\cdots ,e\_n) E=(e1,e2,⋯,en)

则对协方差矩阵**C**有如下结论：

E T C E = Λ = ( λ 1 λ 2 ⋱ λ n ) E^TCE = \\Lambda = \\begin\{pmatrix\}\\lambda\_1 & & & \\\\ & \\lambda\_2 & & \\\\ & & \\ddots & \\\\ & & & \\lambda\_n\\end\{pmatrix\} ETCE=Λ=⎝⎜⎜⎛λ1λ2⋱λn⎠⎟⎟⎞

其中 Λ \\Lambda Λ为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。

P = E T P=E^T P=ET

**P**是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是**C**的一个特征向量。如果设**P**按照 Λ \\Lambda Λ中特征值的从大到小，将特征向量从上到下排列，则用**P**的前K行组成的矩阵乘以原始数据矩阵**X**，就得到了我们需要的降维后的数据矩阵**Y**。

--------------------

### 实例 ###

数据：

C = 1 5 ( − 1 − 1 0 2 0 − 2 0 0 1 1 ) C = \\frac\{1\}\{5\} \\begin\{pmatrix\}-1 & -1 & 0 & 2 & 0 \\\\ & & & & \\\\ -2 & 0 & 0 & 1 & 1 \\end\{pmatrix\} C=51⎝⎛−1−2−10002101⎠⎞  ( − 1 − 2 − 1 0 0 0 2 1 0 1 ) \\begin\{pmatrix\}-1 & -2 \\\\ -1 & 0 \\\\ 0 & 0 \\\\ 2 & 1 \\\\ 0 & 1 \\end\{pmatrix\} ⎝⎜⎜⎜⎜⎛−1−1020−20011⎠⎟⎟⎟⎟⎞ =  ( 6 5 4 5 4 5 6 5 ) \\begin\{pmatrix\} \\frac\{6\}\{5\} & \\frac\{4\}\{5\} \\\\ & \\\\ \\frac\{4\}\{5\} & \\frac\{6\}\{5\} \\end\{pmatrix\} ⎝⎛56545456⎠⎞

求矩阵**C**的特征值：

λ 1 = 2 \\lambda\_1 = 2 λ1=2， λ 2 \\lambda\_2 λ2 = 2/5

其对应的特征向量分别是：

c 1 ( 1 1 ) c\_1 \\begin\{pmatrix\} 1 \\\\ \\\\ 1 \\end\{pmatrix\} c1⎝⎛11⎠⎞， c 2 ( − 1 1 ) c\_2 \\begin\{pmatrix\} -1 \\\\ \\\\ 1 \\end\{pmatrix\} c2⎝⎛−11⎠⎞

其中对应的特征向量分别是一个通解， c 1 c\_1 c1和 c 2 c\_2 c2可取任意实数。那么标准化后的特征向量为：

( 1 2 1 2 ) \\begin\{pmatrix\} \\frac\{1\}\{\\sqrt\{2\}\} \\\\ \\\\ \\frac\{1\}\{\\sqrt\{2\}\} \\end\{pmatrix\} ⎝⎛2121⎠⎞， ( − 1 2 1 2 ) \\begin\{pmatrix\} -\\frac\{1\}\{\\sqrt\{2\}\} \\\\ \\\\ \\frac\{1\}\{\\sqrt\{2\}\} \\end\{pmatrix\} ⎝⎛−2121⎠⎞

最后我们用P的第一行乘以数据矩阵，就得到了降维后的表示：

Y = ( 1 2 , 1 2 ) ( − 1 − 1 0 2 0 − 2 0 0 1 1 ) = ( − 3 2 , − 1 2 , 0 , 3 2 , − 1 2 ) Y = (\\frac\{1\}\{\\sqrt\{2\}\}, \\frac\{1\}\{\\sqrt\{2\}\}) \\begin\{pmatrix\}-1 & -1 & 0 & 2 & 0 \\\\ & & & & \\\\ -2 & 0 & 0 & 1 & 1 \\end\{pmatrix\} = (\\frac\{-3\}\{\\sqrt\{2\}\}, \\frac\{-1\}\{\\sqrt\{2\}\}, 0, \\frac\{3\}\{\\sqrt\{2\}\},\\frac\{-1\}\{\\sqrt\{2\}\}) Y=(21,21)⎝⎛−1−2−10002101⎠⎞=(2−3,2−1,0,23,2−1)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 6]

--------------------

本文转载自：[https://blog.csdn.net/weixin\_41638860/article/details/81411370][https_blog.csdn.net_weixin_41638860_article_details_81411370]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70]: /images/20220403/a7e6a4747fc84432b2b8f1e31a1d3d67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 1]: /images/20220403/d7d2c5a47b2d43d79dbd88edecfb1f6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 2]: /images/20220403/10000b9490ae40ccbb2632165c3e7779.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 3]: /images/20220403/e8aa7178c70a47dfa74e69c515a4f7a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 4]: /images/20220403/ec7796e961984adda4552c04f0634902.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 5]: /images/20220403/acff476136334d41bdf738d30d0a26d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NlYWxpcg_size_16_color_FFFFFF_t_70 6]: /images/20220403/59372c029a2d467a883f7055052df996.png
[https_blog.csdn.net_weixin_41638860_article_details_81411370]: https://blog.csdn.net/weixin_41638860/article/details/81411370