学习SVM（三）理解SVM中的对偶问题

我就是我 2022-06-13 05:23 226阅读 0赞

[ 学习SVM（一） SVM模型训练与分类的OpenCV实现][_SVM_ SVM_OpenCV]  
[学习SVM（二） 如何理解支持向量机的最大分类间隔][SVM_]  
[学习SVM（三）理解SVM中的对偶问题][SVM_SVM]  
[学习SVM（四） 理解SVM中的支持向量（Support Vector）][SVM_ _SVM_Support Vector]  
[学习SVM（五）理解线性SVM的松弛因子][SVM_SVM 1]

网上有很多关于SVM的优秀博客与其他学习资料，而个人感觉本系列博客与其他关于SVM的文章相比，多了一些细节的证明，比如线性分类器原理，支持向量原理等等。  
同样是SVM，在《支持向量机导论》中有170+页的内容，而在《机器学习》（周志华）一书中仅仅是一个章节的内容，中间略过了细节推导的过程，这些被略过的推导过程在本系列博客中都会加入，也是在自学时验证过程中的一些总结，如有问题请指正。

在上一篇的内容中（[学习SVM（二） 如何理解支持向量机的最大分类间隔][SVM_]），我们最后我们推导出优化目标为：

![这里写图片描述][SouthEast]  
其中约束条件为n个，这是一个关于w和b的最小值问题。

根据拉格朗日乘子法：就是求函数f(x1,x2,…)在g(x1,x2,…)=0的约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。即可以求得：

![这里写图片描述][SouthEast 1]  
其中a就是拉格朗日乘子法进入的一个新的参数，也就是拉格朗日乘子。  
那么问题就变成了：

![这里写图片描述][SouthEast 2]

所谓的对偶问题就是：

![这里写图片描述][SouthEast 3]

做这种转换是为了后面的求解方便，因为最小值问题，求导就可以啦！！  
下面对w和b分别求偏导（这里是纯数学计算，直接给结果了）：  
![这里写图片描述][SouthEast 4]

在这里求出了两个结果，带入到L(w,b,a)中：

![这里写图片描述][SouthEast 5]

所以问题被转化成为：  
![这里写图片描述][SouthEast 6]  
![这里写图片描述][SouthEast 7]  
注意这里的约束条件有n+1个。

添加符号，再一次转化条件：

![这里写图片描述][SouthEast 8]  
![这里写图片描述][SouthEast 7]

[_SVM_ SVM_OpenCV]: http://blog.csdn.net/chaipp0607/article/details/68067098
[SVM_]: http://blog.csdn.net/chaipp0607/article/details/73662441
[SVM_SVM]: http://blog.csdn.net/chaipp0607/article/details/73849539
[SVM_ _SVM_Support Vector]: http://blog.csdn.net/chaipp0607/article/details/73716226
[SVM_SVM 1]: http://blog.csdn.net/chaipp0607/article/details/75949812
[SouthEast]: /images/20220613/7a618d69e74747e48a30750ecf86453b.png
[SouthEast 1]: /images/20220613/3db847d663ea41c8b6bcb5ee2b2bf2f3.png
[SouthEast 2]: /images/20220613/e0273399addb4ea0b9525823ae7b7614.png
[SouthEast 3]: /images/20220613/50608af2936c4cb18a8a64d2d155d8d1.png
[SouthEast 4]: /images/20220613/574035781ee04d90976558295e89d6fa.png
[SouthEast 5]: /images/20220613/0b6198cb7ea9486dbd15bf6344b69b64.png
[SouthEast 6]: /images/20220613/4c5fec8a47c744f49de3e91c55e8bc8f.png
[SouthEast 7]: /images/20220613/6232c476f3924ebb9e660c621f1b2bb1.png
[SouthEast 8]: /images/20220613/46946e63aa174ba69081e3d301ae1f7d.png