学习SVM（四）理解SVM中的支持向量（Support Vector）

港控/mmm° 2022-06-13 02:57 183阅读 0赞

[ 学习SVM（一） SVM模型训练与分类的OpenCV实现][_SVM_ SVM_OpenCV]  
[学习SVM（二） 如何理解支持向量机的最大分类间隔][SVM_]  
[学习SVM（三）理解SVM中的对偶问题][SVM_SVM]  
[学习SVM（四） 理解SVM中的支持向量（Support Vector）][SVM_ _SVM_Support Vector]  
[学习SVM（五）理解线性SVM的松弛因子][SVM_SVM 1]

我们在开始接触SVM时肯定听到过类似这样的话，决定决策边界的数据叫做支持向量，它决定了margin到底是多少，而max margin更远的点，其实有没有无所谓。  
然后一般会配一张图说明一下哪些是支持向量（Support Vector），这个图在之前的[学习SVM（二） 如何理解支持向量机的最大分类间隔][SVM_]里面就有，这里不在重复贴了。

但是问题的关键是，这些Support Vector是怎么被确定的呢？  
在[学习SVM（三）理解SVM中的对偶问题][SVM_SVM]计算得到**新的优化目标**：

![这里写图片描述][SouthEast]  
![这里写图片描述][SouthEast 1]

注意这里的约束条件有n+1个，之后只需要根据Data（x），Label（y）求解出满足条件的拉格朗日系数a，并将a带回求得w和b，于是就有了最后的决策边界。（w，b，x，y，a都是向量）  
![这里写图片描述][SouthEast 2]  
**注意：**在上面b的公式中，i=1,2,…,n。但是j却没有给值，这是因为j是任意一个支持向量都可以。

在这里对w和b的公式的推导做一个简短说明，w是通过拉格朗日求偏导后推出的；在[学习SVM（二） 如何理解支持向量机的最大分类间隔][SVM_]中我们知道最大间隔为：  
![这里写图片描述][SouthEast 3]  
那么支持向量到决策边界的距离为：  
![这里写图片描述][SouthEast 4]，  
同时根据点到直线的距离公式有：  
![这里写图片描述][SouthEast 5]  
超平面（w,b）能够将训练样本正确分类，即对于![这里写图片描述][SouthEast 6]，因此去掉绝对值可以得到关于b的公式。

而非支持向量的数据就在求解参数a，w，b的过程中，前面的参数w求得的结果会为0，这样就满足了之前的说法，只有支持向量在影响着决策边界的确定，举个例子：

![这里写图片描述][SouthEast 7]

上图中有3个点，x1(3,3)，x2(4,3)，x3(1,1)，对应的：y1=y2=1，y3=-1。  
很显然x1和x3是两个支持向量，在决策平面的两侧，我们带入到上面的公式求解一下：  
由于两个求和公式（n=3），所以括号里面的是项会有9个，**可以理解为两个for循环嵌套啊**（哈~哈~），但是显然这9项里面是有重复的，因为a1\*a2 = a2\*a1，所以最后会剩下6项：  
a1\*a1，a2\*a2，a3\*a3，2\*a1\*a3，2\*a1\*a2，2\*a2\*a3，举个例子确定前面的系数：  
C\*a1\*a2 = \[(x1)(x2)\*y1\*y2\]a1\*a2  
C=2\*\[(3,3)(4,3)\]*(1)*(1)=2(12+9)=42

所以最后的结果如下：  
![这里写图片描述][SouthEast 8]

由约束条件得到：a3=a1+a2，带入到min中可以求得一个关于a1  
和a2的函数：

![这里写图片描述][SouthEast 9]

要求它的最小值，求偏导啊~

![这里写图片描述][SouthEast 10]

最后求解得到：  
a1 = 1.5  
a2 = -1

而a2 = -1的点不满于a2>0的条件，所以最小值在边界上取得。边界情况要么是a1=0，要么是a2=0，于是：  
a1=0时，我们应该把a1的值往s对a2的偏导里面带入：  
a2=2/13 （满足条件）  
此时：  
![这里写图片描述][SouthEast 11]

a2=0时，我们应该把a2的值往s对a1的偏导里面带入：  
a1=1/4 （满足条件）  
此时：  
![这里写图片描述][SouthEast 12]  
显然后面的结果更小，所以：  
a1 = 1/4  
a2 = 0  
a3 = 1/4

到这里就能验证上面的结论了，a1和a3是x1和x3的系数，x1和x3是支持向量，而x2不是，所以前面的系数是0。因为根据w求解公式，a2=0，所以x2对w权的最后取值没有影响，所以x2不是支持向量。

最后一步，带到上面的式子中求w，b：  
![这里写图片描述][SouthEast 13]  
w1=w2=0.5  
对于支持向量x1,计算b的值：  
![这里写图片描述][SouthEast 14]  
对于非支持向量x2,计算b的值：  
![这里写图片描述][SouthEast 15]  
显然，由于b的公式由支持向量与决策平面的距离推导得到，所以x2的计算结果是错误的。  
于是得到最后的决策边界为：  
0.5x1+0.5x2+2=0

[_SVM_ SVM_OpenCV]: http://blog.csdn.net/chaipp0607/article/details/68067098
[SVM_]: http://blog.csdn.net/chaipp0607/article/details/73662441
[SVM_SVM]: http://blog.csdn.net/chaipp0607/article/details/73849539
[SVM_ _SVM_Support Vector]: http://blog.csdn.net/chaipp0607/article/details/73716226
[SVM_SVM 1]: http://blog.csdn.net/chaipp0607/article/details/75949812
[SouthEast]: /images/20220613/67782bbc8fb84d0cb9673d0301931d72.png
[SouthEast 1]: /images/20220613/faba1433274940ffad1b7bb897c2e860.png
[SouthEast 2]: /images/20220613/98b3b64a38ec41a59c17e9bc29f00321.png
[SouthEast 3]: /images/20220613/2c05b86b4fa54b349dcd55526f20d499.png
[SouthEast 4]: /images/20220613/03ad22c0a569404483fc12a653837e70.png
[SouthEast 5]: /images/20220613/4c09a8a950cb4d9d98cbff066430b5ad.png
[SouthEast 6]: /images/20220613/9a645518d4a74159aacc9c1c8ba25b1c.png
[SouthEast 7]: /images/20220613/c4f21315d71d4b1c922dbdaec16e05fe.png
[SouthEast 8]: /images/20220613/c1112147e43143f687a5154c93367d28.png
[SouthEast 9]: /images/20220613/95679483ca9048dfaef11b2dc6c860e3.png
[SouthEast 10]: /images/20220613/abb951dbf2df4ba38535d6146c650a86.png
[SouthEast 11]: /images/20220613/4f7c17fe9808498baacbc498fd9c8f98.png
[SouthEast 12]: /images/20220613/3400d418e2034b1dae7c618ffd38ffa3.png
[SouthEast 13]: /images/20220613/7fb9fc07d3df4af4820cb782767cfae8.png
[SouthEast 14]: /images/20220613/e25ca0ef50fb4a8e8aa49e6d4ff98c5f.png
[SouthEast 15]: /images/20220613/8882775ad99947f8ae857ca2f1673621.png