手推序列最小优化（sequential minimal optimization，SMO）算法

素颜马尾好姑娘i 2023-03-04 15:29 32阅读 0赞

在[再谈SVM（hard-margin和soft-margin详细推导、KKT条件、核技巧）][SVM_hard-margin_soft-margin_KKT]中，无论是求解硬间隔问题：  
![在这里插入图片描述][20200804093803641.png_pic_center]  
还是求解软间隔问题：  
![在这里插入图片描述][20200804093854253.png_pic_center]  
我们都有意无意跳过了拉格朗日乘子  λ \\lambda λ 的求解，今天我们就来求一求。

### SMO算法 ###

*  1.SMO算法的基本思想
 *   *  1.1什么是SMO算法
     *  1.2子问题的变量
 *  2.SMO算法的实现
 *   *  2.1两个变量二次规划的求解方法
     *   *  2.1.1原始问题的分析
         *  2.1.2约束条件+剪切
     *  2.2变量的选择方法
     *   *  2.2.1第一个变量的选择
         *  2.2.2第二个变量的选择
         *  2.2.3计算阈值b和差值 E i E\_\{i\} Ei
 *  3.总结SMO算法
 *  4.SMO算法步骤中的一点解释

# 1.SMO算法的基本思想 #

## 1.1什么是SMO算法 ##

SMO算法要解决的就是如下**凸二次规划**问题：  
![在这里插入图片描述][20200804093854253.png_pic_center]  
  SMO（sequential minimal optimization，序列最小优化）算法是一种启发式算法。其基本思路是：如果所有的变量的解都满足此最优问题的KKT条件，那么这个最优问题的解就得到了，因为KKT条件是该最优化问题有解的充要条件。否则，我们就选择两个变量，固定其它变量，针对这两个变量构建一个二次规划问题，这个二次规划的问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数值变小。

## 1.2子问题的变量 ##

上面提到了我们要固定**两个变量**，那这两个变量选择的思路是什么？**一个变量是违反KKT条件最严重的的那个变量，另一个变量由约束条件自动确定。** 如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

整个SMO算法包含两个部分：求解两个变量二次规划的解析方法和选择变量的启发式算法。下面将依次介绍。

# 2.SMO算法的实现 #

## 2.1两个变量二次规划的求解方法 ##

上面说我们要固定两个变量，我们不妨就选择 λ 1 和 λ 2 \\lambda\_\{1\}和\\lambda\_\{2\} λ1和λ2两个变量，然后将 λ 3 , λ 4 . . . λ N 固 定 。 \\lambda\_\{3\},\\lambda\_\{4\}...\\lambda\_\{N\}固定。 λ3,λ4...λN固定。

### 2.1.1原始问题的分析 ###

![在这里插入图片描述][20200804095721826.gif_pic_center]  
  我们固定 λ 3 \\lambda\_\{3\} λ3开始的所有变量，并对目标函数进行分类讨论，一共九种情况： ( i , j ) 分 别 为 ( 1 , 1 ) 、 ( 1 , 2 ) 、 ( 2 , 1 ) 、 ( i = 1 , j ≥ 3 ) 、 ( i ≥ 3 , j = 1 ) 、 ( 2 , 2 ) 、 ( i = 2 , j ≥ 3 ) 、 ( i ≥ 3 , j = 2 ) 、 ( i ≥ 3 , j ≥ 3 ) (i,j)分别为(1,1)、(1,2)、(2,1)、(i=1,j\\geq3)、(i\\geq3,j=1)、(2,2)、(i=2,j\\geq3)、(i\\geq3,j=2)、(i\\geq3,j\\geq3) (i,j)分别为(1,1)、(1,2)、(2,1)、(i=1,j≥3)、(i≥3,j=1)、(2,2)、(i=2,j≥3)、(i≥3,j=2)、(i≥3,j≥3)，针对这些分类，我们对目标函数进行展开：  
![在这里插入图片描述][20200804100907158.gif_pic_center]  
第三项以及最后一项都是常数，对最终结果无影响，我们可以去掉，并且 y 1 2 以 及 y 2 2 y\_\{1\}^2以及y\_\{2\}^2 y12以及y22都为1，于是进一步化简：  
![在这里插入图片描述][20200804101333946.gif_pic_center]  
又因为： λ 1 y 1 + λ 2 y 2 + ∑ i = 3 N λ i y i = 0 \\lambda\_\{1\}y\_\{1\}+\\lambda\_\{2\}y\_\{2\}+\\sum\_\{i=3\}^\{N\}\\lambda\_\{i\}y\_\{i\}=0 λ1y1\+λ2y2\+∑i=3Nλiyi=0，第三项为一个常数，于是 λ 1 y 1 + λ 2 y 2 = C \\lambda\_\{1\}y\_\{1\}+\\lambda\_\{2\}y\_\{2\}=C λ1y1\+λ2y2=C，则 λ 1 = y 1 ( C − λ 2 y 2 ) \\lambda\_\{1\}=y\_\{1\}(C-\\lambda\_\{2\}y\_\{2\}) λ1=y1(C−λ2y2)，继续代入，化成只有 λ 2 \\lambda\_\{2\} λ2的函数：（注意这里的常数C跟上面的惩罚系数没有半点关系！！！）  
![在这里插入图片描述][20200804102104997.gif_pic_center]  
然后让 L ( λ 2 ) L(\\lambda\_\{2\}) L(λ2)对 λ 2 \\lambda\_\{2\} λ2求导得：  
![在这里插入图片描述][20200804103100504.gif_pic_center]  
我们将 λ 2 \\lambda\_\{2\} λ2移动到一起得到：  
![在这里插入图片描述][20200804103726434.gif_pic_center]  
因为是迭代法，所以每次的 λ 2 \\lambda\_\{2\} λ2都是new的，而又因为： λ 1 o l d y 1 + λ 2 o l d y 2 = C ， 以 及 λ 1 n e w y 1 + λ 2 n e w y 2 = C \\lambda\_\{1\}^\{old\}\{\}y\_\{1\}+\\lambda\_\{2\}^\{old\}y\_\{2\}=C，以及\\lambda\_\{1\}^\{new\}\{\}y\_\{1\}+\\lambda\_\{2\}^\{new\}y\_\{2\}=C λ1oldy1\+λ2oldy2=C，以及λ1newy1\+λ2newy2=C，所以将C继续代入：  
![在这里插入图片描述][20200804104501236.gif_pic_center]  
再次回忆前面：  
![在这里插入图片描述][20200804104605258.png_pic_center]  
于是：  
![在这里插入图片描述][20200804105150213.gif_pic_center]  
同时也可以得到：  
![在这里插入图片描述][20200804105416198.gif_pic_center]  
将上述两个式子代入到：  
![在这里插入图片描述][20200804104501236.gif_pic_center]  
得到：![在这里插入图片描述][20200804105930757.gif_pic_center]  
有很多项都可以直接消掉：  
![在这里插入图片描述][20200804110218467.gif_pic_center]  
我们令 f ( x 1 ) − y 1 − ( f ( x 2 ) − y 2 ) = E 1 − E 2 , K 11 + K 22 − 2 K 12 = η f(x\_\{1\})-y\_\{1\}-(f(x\_\{2\})-y\_\{2\})=E\_\{1\}-E\_\{2\},K\_\{11\}+K\_\{22\}-2K\_\{12\}=\\eta f(x1)−y1−(f(x2)−y2)=E1−E2,K11\+K22−2K12=η，于是最终解出了：  
![在这里插入图片描述][20200804110459618.gif_pic_center]  
（吐槽一下：公式真的太难写了。。。。。）

### 2.1.2约束条件+剪切 ###

在前面，我们求解到了一个 λ 2 n e w \\lambda\_\{2\}^\{new\} λ2new，其表达式为：  
![在这里插入图片描述][20200804110459618.gif_pic_center]  
但是呢，我们在求解过程中并没有考虑 0 ≤ λ i ≤ C 0\\leq\\lambda\_\{i\}\\leq C 0≤λi≤C这一个约束条件。我们称上述最优解为未经剪辑的最优解，记为：  
![在这里插入图片描述][20200804114231815.gif_pic_center]  
  那么现在我们加上约束条件再看看：由于只有两个变量 λ 1 ， λ 2 \\lambda\_\{1\}，\\lambda\_\{2\} λ1，λ2，约束可以用二维空间中的图形表示。约束条件为：![在这里插入图片描述][20200804112508405.gif_pic_center]  
以及 0 ≤ λ ≤ C 0\\leq\\lambda\\leq C 0≤λ≤C。  
  在上面的推导中我们用的是C，这里不想跟惩罚系数C混淆，所以换一个字母 ε \\varepsilon ε来表示，因此，加上约束条件后：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70]

可以看到，我们将两个变量框在了一个矩形内，又因为二者相加或者相减为一个常数k，**所以，实际上二者的最优解就在一条直线上，而直线是有边界的，** 因此我们就可以得到 λ 2 \\lambda\_\{2\} λ2的边界，如上所示。  
  经过上述约束后，我们就得到了最优解：  
![在这里插入图片描述][20200805103734525.gif_pic_center]  
其中 λ 2 n e w , u n c \\lambda\_\{2\}^\{new,unc\} λ2new,unc就是我们最开始求取的 λ 2 n e w \\lambda\_\{2\}^\{new\} λ2new：  
![在这里插入图片描述][20200804114231815.gif_pic_center]  
我们根据约束关系得到修剪后的 λ 2 n e w \\lambda\_\{2\}^\{new\} λ2new，然后根据 λ 1 o l d y 1 + λ 2 o l d y 2 = C ， 以 及 λ 1 n e w y 1 + λ 2 n e w y 2 = C \\lambda\_\{1\}^\{old\}\{\}y\_\{1\}+\\lambda\_\{2\}^\{old\}y\_\{2\}=C，以及\\lambda\_\{1\}^\{new\}\{\}y\_\{1\}+\\lambda\_\{2\}^\{new\}y\_\{2\}=C λ1oldy1\+λ2oldy2=C，以及λ1newy1\+λ2newy2=C，就可以进一步得到：  
![在这里插入图片描述][20200805104114216.gif_pic_center]

## 2.2变量的选择方法 ##

上述两个变量 λ 1 以 及 λ 2 \\lambda\_\{1\}以及\\lambda\_\{2\} λ1以及λ2是我们选出来的，那究竟怎么选呢？

### 2.2.1第一个变量的选择 ###

SMO算法称选择 λ 1 \\lambda\_\{1\} λ1的过程为**外层循环**。**选取原则是：在训练样本中选取违反KKT条件最严重的样本点。** 回忆一下KKT条件：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]

注意：下面的 α 就 是 λ \\alpha就是\\lambda α就是λ！！

对KKT条件分类讨论：  
（1） α i = 0 \\alpha\_\{i\}=0 αi=0，则 w = ∑ i = 1 N α i y i x i = 0 w=\\sum\_\{i=1\}^\{N\}\\alpha\_\{i\}y\_\{i\}x\_\{i\}=0 w=∑i=1Nαiyixi=0，说明向量 x i x\_\{i\} xi不是支持向量。  
（2） 0 < α i < C 0< \\alpha\_\{i\}< C 0<αi<C，此时 x i x\_\{i\} xi是支持向量了。此种情况下 μ i > 0 \\mu\_\{i\}>0 μi>0，又因为 μ i ε i = 0 \\mu\_\{i\}\\varepsilon\_\{i\}=0 μiεi=0，于是 ε i = 0 \\varepsilon\_\{i\}=0 εi=0，则 y i ( w T x i + b ) = 1 y\_\{i\}(w^Tx\_\{i\}+b)=1 yi(wTxi\+b)=1，说明样本 x i x\_\{i\} xi在分割边界上。  
（3） α i = C \\alpha\_\{i\}=C αi=C，则根据 μ i = C − α i \\mu\_\{i\}=C-\\alpha\_\{i\} μi=C−αi可知 μ i = 0 \\mu\_\{i\}=0 μi=0，又因为 μ i ε i = 0 \\mu\_\{i\}\\varepsilon\_\{i\}=0 μiεi=0，于是 ε i > 0 \\varepsilon\_\{i\}>0 εi>0。  
对第三种情况，进一步讨论：

1.   0 < ε i < 1 0<\\varepsilon\_\{i\}<1 0<εi<1，则 y i ( w T x i + b ) = 1 − ε i ∈ ( 0 , 1 ) y\_\{i\}(w^Tx\_\{i\}+b)=1-\\varepsilon\_\{i\}\\in(0,1) yi(wTxi\+b)=1−εi∈(0,1)，样本在间隔边界与超平面之间。
2.   ε i = 1 \\varepsilon\_\{i\}=1 εi=1，则 y i ( w T x i + b ) = 1 − ε i = 0 y\_\{i\}(w^Tx\_\{i\}+b)=1-\\varepsilon\_\{i\}=0 yi(wTxi\+b)=1−εi=0，样本在超平面上。
3.   ε i > 1 \\varepsilon\_\{i\}>1 εi>1，则 y i ( w T x i + b ) = 1 − ε i < 0 y\_\{i\}(w^Tx\_\{i\}+b)=1-\\varepsilon\_\{i\}<0 yi(wTxi\+b)=1−εi<0，样本在超平面另一侧，说明分类错误。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 1]  
因此违反条件就为： y i E i < − t o l e r   a n d   α i < C   o r   y i E i > t o l e r   a n d   α i > 0 y\_\{i\}E\_\{i\}<-toler\\ and\\ \\alpha\_\{i\}<C\\ or \\ y\_\{i\}E\_\{i\}>toler\\ and\\ \\alpha\_\{i\}>0 yiEi<−toler and αi<C or yiEi>toler and αi>0

外层循环步骤如下：

1.  首先遍历所有样本点，如果有不满足条件 0 ≤ λ i ≤ C 0\\leq \\lambda\_\{i\} \\leq C 0≤λi≤C的样本点，就选择其作为第一个变量。
2.  若所有样本点都满足上述关系，那么就选择不满足 λ = 0 以 及 λ = C \\lambda=0以及\\lambda=C λ=0以及λ=C的样本点。

### 2.2.2第二个变量的选择 ###

SMO算法称选择 λ 2 \\lambda\_\{2\} λ2的过程为**内层循环**。根据外层循环我们找到了第一个变量 λ 1 \\lambda\_\{1\} λ1，现在要找第二个变量 λ 2 \\lambda\_\{2\} λ2，**选取标准是让 ∣ E 1 − E 2 ∣ |E\_\{1\}-E\_\{2\}| ∣E1−E2∣有足够大的变化。** 前面我们知道：  
![在这里插入图片描述][20200804110459618.gif_pic_center]  
可见 λ 2 n e w \\lambda\_\{2\}^\{new\} λ2new依赖于 ∣ E 1 − E 2 ∣ |E\_\{1\}-E\_\{2\}| ∣E1−E2∣，由于 λ 1 \\lambda\_\{1\} λ1定了的时候， E 1 E\_\{1\} E1也确定了，所以要想 ∣ E 1 − E 2 ∣ |E\_\{1\}-E\_\{2\}| ∣E1−E2∣最大，只需要在 E 1 E\_\{1\} E1为正时，选择最小的 E i E\_\{i\} Ei作为 E 2 E\_\{2\} E2， 在 E 1 E\_\{1\} E1为负时，选择最大的 E i E\_\{i\} Ei作为 E 2 E\_\{2\} E2，为了节省计算时间，可以将所有的 E i E\_\{i\} Ei保存下来加快迭代。  
  在特殊情况下，如果内层循环用上述方式选择了一个使得 ∣ E 1 − E 2 ∣ |E\_\{1\}-E\_\{2\}| ∣E1−E2∣最大的 λ 2 \\lambda\_\{2\} λ2，**但是下降很不明显**，那么我们就重新换一个规则：遍历所有在间隔边界上的样本点，选择一个使得目标函数下降明显的的样本作为 λ 2 \\lambda\_\{2\} λ2，要是还不能满意，那就重新进行外层循环，重新选择 λ 1 \\lambda\_\{1\} λ1。  
  从内层循环我们知道，我们得计算 E E E！！

### 2.2.3计算阈值b和差值 E i E\_\{i\} Ei ###

经过上述一系列复杂的运算，我们找到了两个优化后的变量，每次我们找到两个变量，都要重新计算阈值b。在[再谈SVM（hard-margin和soft-margin详细推导、KKT条件、核技巧）][SVM_hard-margin_soft-margin_KKT]中，求解软间隔问题的2.2.6中，我们说过：  
  前面求导时我们已经得到了： w ∗ = ∑ i = 1 N α i y i x i w^\*=\\sum\_\{i=1\}^\{N\}\\alpha\_\{i\}y\_\{i\}x\_\{i\} w∗=∑i=1Nαiyixi，求解b\*的思路跟前面一样，任取一个支持向量 ( x k , y k ) (x\_\{k\},y\_\{k\}) (xk,yk)，我们知道支持向量满足：  
![在这里插入图片描述][20200729202731588.gif_pic_center]  
  但是这里面有一个**不确定量** ε k \\varepsilon\_\{k\} εk，我们如果选择了一个 ε k > 0 \\varepsilon\_\{k\}> 0 εk>0的支持向量，那么 ε k \\varepsilon\_\{k\} εk的具体值我们是无法知道的，因此我们只能选择一个 ε k = 0 \\varepsilon\_\{k\}= 0 εk=0的支持向量才能解出b，而根据上面对KKT条件的讨论，只有当 0 < α i < C 0< \\alpha\_\{i\}< C 0<αi<C时， ε k = 0 \\varepsilon\_\{k\}= 0 εk=0才成立。因此这里需要注意，硬间隔求b时我们可以选择任意一个支持向量，而软间隔不行，我们只有选择满足 0 < α i < C 0< \\alpha\_\{i\}< C 0<αi<C（ α i > 0 \\alpha\_\{i\}>0 αi>0就是支持向量）的支持向量，才能解出b。这其实是一种人为制定的求 b 的规则。

阈值b是在 0 < α i < C 0< \\alpha\_\{i\}< C 0<αi<C时求得的。而当 0 ≤ α 1 n e w ≤ C 0\\leq \\alpha\_\{1\}^\{new\}\\leq C 0≤α1new≤C时，上述阈值表达式中的k可以就是1。那么就有：  
![在这里插入图片描述][20200804122142772.gif_pic_center]

根据 E i E\_\{i\} Ei的表达式，我们可以写出：  
![在这里插入图片描述][2020080412185364.gif_pic_center]

b 1 n e w b\_\{1\}^\{new\} b1new表达式的前两项可以写为：  
![在这里插入图片描述][20200804122441246.gif_pic_center]  
于是 b 1 n e w b\_\{1\}^\{new\} b1new可以写做：  
![在这里插入图片描述][20200804122802267.gif_pic_center]  
同样，如若 0 ≤ λ 2 n e w ≤ C 0\\leq \\lambda\_\{2\}^\{new\}\\leq C 0≤λ2new≤C，则：  
![在这里插入图片描述][20200804122933556.gif_pic_center]  
  如果 0 ≤ λ 1 n e w ≤ C , 0 ≤ λ 2 n e w ≤ C 0\\leq \\lambda\_\{1\}^\{new\}\\leq C,0\\leq \\lambda\_\{2\}^\{new\}\\leq C 0≤λ1new≤C,0≤λ2new≤C同时满足，那么 b 1 n e w = b 2 n e w b\_\{1\}^\{new\}=b\_\{2\}^\{new\} b1new=b2new，如果 λ 1 n e w 以 及 λ 2 n e w \\lambda\_\{1\}^\{new\}以及\\lambda\_\{2\}^\{new\} λ1new以及λ2new都是0或者C，**那么 b 1 n e w 和 b 2 n e w b\_\{1\}^\{new\}和b\_\{2\}^\{new\} b1new和b2new以及它们之间的数都是满足KKT条件的阈值，我们一般选择它们的中点作为新的阈值 b n e w b^\{new\} bnew。**  
  在每次完成两个变量的优化之后，我们也要更新对应的E值，并将它们保存在列表中，E的更新要用到 b n e w b^\{new\} bnew以及所有支持向量对应的 λ i \\lambda\_\{i\} λi：  
![在这里插入图片描述][20200804123635651.gif_pic_center]  
j是所有支持向量的下标，S是支持向量集合。

# 3.总结SMO算法 #

SMO算法的**输入为训练数据集T**，样本个数为N，每个样本的标签为1或者-1，精度为 ε \\varepsilon ε。**输出为所有 λ \\lambda λ的近似解。**

1.  取初值，令所有 λ \\lambda λ都为0，即 λ ( 0 ) \\lambda^\{(0)\} λ(0)=0，令k=0
2.  根据上面的选取优化变量的准则，选取两个要优化的变量 λ 1 ( k ) 以 及 λ 2 ( k ) \\lambda\_\{1\}^\{(k)\}以及\\lambda\_\{2\}^\{(k)\} λ1(k)以及λ2(k)，求得它们的最优解 λ 1 ( k + 1 ) 以 及 λ 2 ( k + 1 ) \\lambda\_\{1\}^\{(k+1)\}以及\\lambda\_\{2\}^\{(k+1)\} λ1(k\+1)以及λ2(k\+1)，更新 λ \\lambda λ为 λ ( k + 1 ) \\lambda^\{(k+1)\} λ(k\+1)
3.  若在精度 ε \\varepsilon ε范围内满足停止条件：  
    ![在这里插入图片描述][20200804125121302.gif_pic_center]  
    那么我们就停止迭代，当前的 λ ( k + 1 ) \\lambda^\{(k+1)\} λ(k\+1)就是最终的 λ ^ \\hat\{\\lambda\} λ^，不满足终止条件就跳到第二步。

# 4.SMO算法步骤中的一点解释 #

算法中涉及到计算 f ( x i ) f(x\_\{i\}) f(xi)，这个咋算？这样算： w ∗ = ∑ i = 1 N α i y i x i w^\*=\\sum\_\{i=1\}^\{N\}\\alpha\_\{i\}y\_\{i\}x\_\{i\} w∗=∑i=1Nαiyixi  
![在这里插入图片描述][20200729202731588.gif_pic_center]  
因为我们所有的 λ i \\lambda\_\{i\} λi都是有初值的，所以上面的参数在每一次迭代时都是确定的值，只不过每次迭代后都要更新。

[SVM_hard-margin_soft-margin_KKT]: https://blog.csdn.net/Cyril_KI/article/details/107601621
[20200804093803641.png_pic_center]: /images/20230208/e00e8224cd6c4493b407076776a25fe0.png
[20200804093854253.png_pic_center]: /images/20230208/02aa37f27e1d473cb8eed21b35f44427.png
[20200804095721826.gif_pic_center]: /images/20230208/87dd3c62423a4c3daf5a09e6f8d042cd.png
[20200804100907158.gif_pic_center]: /images/20230208/e7f4b64b37d1439e817b542889aeedef.png
[20200804101333946.gif_pic_center]: /images/20230208/1e9e3902bbd34002bb8e811e33800786.png
[20200804102104997.gif_pic_center]: /images/20230208/1d0d2b1ca88e40de8053e42e51923a74.png
[20200804103100504.gif_pic_center]: /images/20230208/d17230e7c5f2440983cb46edfb73fae8.png
[20200804103726434.gif_pic_center]: /images/20230208/e7d9a716203145509359f863b7667ca8.png
[20200804104501236.gif_pic_center]: /images/20230208/8f4f9cdcf1fe43c2b635ff3afe5709a8.png
[20200804104605258.png_pic_center]: /images/20230208/ee5d16e1625244cbb056722a291495fa.png
[20200804105150213.gif_pic_center]: /images/20230208/c4c057bb4f044804b7a088b0a62c487c.png
[20200804105416198.gif_pic_center]: /images/20230208/a4c0bb330b0f45b8b5c4c16e2be07064.png
[20200804105930757.gif_pic_center]: /images/20230208/b7b281838c3f496f8089f6e14d5d8e8f.png
[20200804110218467.gif_pic_center]: /images/20230208/3bad674d024e43bbb9da8f4bc84bb66e.png
[20200804110459618.gif_pic_center]: /images/20230208/e6888b33c9bf4f4fb8c454c375b5384e.png
[20200804114231815.gif_pic_center]: /images/20230208/7a2d813575fd4b3ab403100200b1f6ef.png
[20200804112508405.gif_pic_center]: /images/20230208/ede50a4df98f418eb341597eaa716ef5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70]: /images/20230208/896f8045cc224cedb35c0552f5a4bd4d.png
[20200805103734525.gif_pic_center]: /images/20230208/ad593674b27d4113bfc2a1b83c7ef08c.png
[20200805104114216.gif_pic_center]: /images/20230208/0beff20311d741fd96efedd5098850a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]: /images/20230208/c5681a6d2c4a4ae9898c90c3bc741250.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230208/06bc49fdc25d46168e051b009a64fc44.png
[20200729202731588.gif_pic_center]: /images/20230208/7a8c1b6bee4a469c80714957b469d0cb.png
[20200804122142772.gif_pic_center]: /images/20230208/4f34cc2258ab4655acc64c27a14542d7.png
[2020080412185364.gif_pic_center]: /images/20230208/df01ace4c22b463b94b88d3a0cc3f130.png
[20200804122441246.gif_pic_center]: /images/20230208/d6e0c32445b34615aaf83ffd9041d916.png
[20200804122802267.gif_pic_center]: /images/20230208/c7a796c3443f453185304bf90d188b25.png
[20200804122933556.gif_pic_center]: /images/20230208/14dd052cc6c1408cbf821f35873012b1.png
[20200804123635651.gif_pic_center]: /images/20230208/2c0b3be7e52b4cf598ff81108ba98680.png
[20200804125121302.gif_pic_center]: /images/20230208/49bd0097e48447018729b829682d9f40.png