【机器学习】支持向量机(SVM)原理与实战

淡淡的烟草味﹌ 2022-11-29 11:21 269阅读 0赞

### 文章目录 ###

*  前言
 *  一、什么是SVM
 *   *  1.1 SVM划分数据的依据
     *  1.2 SVM的损失函数推导
 *  二、SVM实战
 *   *  2.1 三种分类问题类型
     *  2.2 实际模型训练
 *  三、总结
 *   *  待补充的内容
 *  四、参考资料

本文属于我的机器学习/深度学习系列文章，[点此查看系列文章目录][Link 1]

# 前言 #

本文涵盖对于支持向量机概念的理解（可视化模型），并拓展到其实际的应用当中，与以往的两个分类器`LogisticRegression`,`DecisionTree`的同样的数据集上做效果对比。

# 一、什么是SVM #

支持向量机(Support Vector Machine,SVM)是非常经典的机器学习分类模型，常被作为baseline与其他模型的分类效果做对比。本质上SVM与其他线性分类器（如`LogisticRegression`）一样，也是通过训练模型拟合数据样本得到 y = w T x + w 0 y=\\mathbf w^T\\mathbf x +w\_0 y=wTx\+w0决策函数中的参数( w , w 0 \\mathbf w,w\_0 w,w0)，重点在于损失函数的不同，导致超平面分界线的结果也不一样。因此，要理解SVM，需懂得两点：

*  **SVM划分数据的依据**
 *  **SVM的损失函数推导**

## 1.1 SVM划分数据的依据 ##

给定如下两类样本数据点，用一个超平面将两者划分开，一共有无数种划分办法，**SVM**定义了一种最好的划分办法，即**最大间隔**，所谓最大间隔就是超平面到两边最近样本点的间隔大小，如下图所示：  
![在这里插入图片描述][20200820090003778.png_pic_center]

> 图中阴影部分是超平面与数据点之间的间隔大小，特殊标注的点是**支持向量**，其实我更愿意称其为支撑向量，因为就像是支撑木板（阴影区域）的钉子，要使得木板的面积最大。

这种划分方式的好处就在于给两边的数据都留出了最大的空间，能够保证尽可能将多的同类数据点划分到一边。

## 1.2 SVM的损失函数推导 ##

根据**SVM**最大间隔的依据（两类样本点到超平面距离最大化），我们首先需要刻画数据点 ( x i , y i ) (\\mathbf x\_i,y\_i) (xi,yi)到超平面的距离，这部分内容我在中已经提到过，这里沿用一下之前的图：  
![在这里插入图片描述][20190928174440398.png_pic_center]

> 其中 w \\mathbf w w是超平面法向量，绿色线是超平面，横纵轴是坐标系， x \\mathbf x x是数据样本点， x p \\mathbf x\_p xp是 x \\mathbf x x在超平面上的投影，由图可知，我们需要的是 x − x p \\mathbf x-\\mathbf x\_p x−xp在 w \\mathbf w w上投影的长度

根据上面的关系可以建立如下关系式( z z z是数据点到超平面距离)：  
 x = x p + z ( w ∣ ∣ w ∣ ∣ ) → w T x = w T x p + z ( w T w ∣ ∣ w ∣ ∣ ) , w T x p + w 0 = 0 ( 超 平 面 定 义 ) → w T x = − w 0 + z ∣ ∣ w ∣ ∣ → z = w T x + w 0 ∣ ∣ w ∣ ∣ \\mathbf x = \\mathbf x\_p + z(\\frac\{\\mathbf w\}\{||\\mathbf w||\})\\\\ \\to \\mathbf w^T\\mathbf x = \\mathbf w^T\\mathbf x\_p + z(\\frac\{\\mathbf w^T \\mathbf w\}\{||\\mathbf w||\}),\\mathbf w^T \\mathbf x\_p + w\_0=0(超平面定义)\\\\ \\to \\mathbf w^T \\mathbf x = -w\_0 + z||\\mathbf w||\\\\ \\to z = \\frac\{\\mathbf w^T \\mathbf x+w\_0\}\{||\\mathbf w||\} x=xp\+z(∣∣w∣∣w)→wTx=wTxp\+z(∣∣w∣∣wTw),wTxp\+w0=0(超平面定义)→wTx=−w0\+z∣∣w∣∣→z=∣∣w∣∣wTx\+w0

现在有了数据点到超平面的距离（带方向），这里可以给出数据点与超平面之间的**几何间隔定义**:  
 γ = y ∗ z = y w T x + w 0 ∣ ∣ w ∣ ∣ \\gamma =y\*z = y\\frac\{\\mathbf w^T \\mathbf x+w\_0\}\{||\\mathbf w||\} γ=y∗z=y∣∣w∣∣wTx\+w0

> y是数据标签的值（1,-1），这样保证得到的距离是个正数

只需要考虑最大化间隔，实际上这个间隔的大小取决于两边离超平面最近的数据点，且超平面两边的间隔是相同的。

那么问题就转变成了：**找到最大的间隔，使得所有样本点到超平面的距离大于等于该间隔**  
 max ⁡ w γ s . t . y i w T x + w 0 ∣ ∣ w ∣ ∣ ≥ γ , i = 1 , 2 , . . . , n \\max\_\{\\mathbf w\} \\gamma\\\\ s.t. y\_i\\frac\{\\mathbf w^T\\mathbf x+w\_0\}\{||\\mathbf w||\}\\ge \\gamma,i=1,2,...,n wmaxγs.t.yi∣∣w∣∣wTx\+w0≥γ,i=1,2,...,n  
等价于  
 max ⁡ w γ s . t . y i ( w T x + w 0 ) ≥ γ ∣ ∣ w ∣ ∣ , i = 1 , 2 , . . . , n \\max\_\{\\mathbf w\} \\gamma\\\\ s.t. y\_i(\\mathbf w^T\\mathbf x+w\_0)\\ge \\gamma||\\mathbf w||,i=1,2,...,n wmaxγs.t.yi(wTx\+w0)≥γ∣∣w∣∣,i=1,2,...,n  
令 γ ∣ ∣ w ∣ ∣ = λ \\gamma ||\\mathbf w|| = \\lambda γ∣∣w∣∣=λ，问题转变成  
 max ⁡ w λ ∣ ∣ w ∣ ∣ s . t . y i ( w T x + w 0 ) ≥ λ , i = 1 , 2 , . . . , n \\max\_\{\\mathbf w\} \\frac\{\\lambda\}\{||\\mathbf w||\}\\\\ s.t. y\_i(\\mathbf w^T\\mathbf x+w\_0)\\ge \\lambda,i=1,2,...,n wmax∣∣w∣∣λs.t.yi(wTx\+w0)≥λ,i=1,2,...,n  
这里就找到有意思的一个点了，限制条件是 λ \\lambda λ，优化结果里同步乘以了 λ \\lambda λ，可以说 λ \\lambda λ在这个问题中是一个可以任意的数（即 λ \\lambda λ不影响实际变量 w , w 0 \\mathbf w,w\_0 w,w0的取值，只是将目标函数值进行了放缩），不妨令 λ = 1 \\lambda=1 λ=1方便计算，同时由于 ∣ ∣ w ∣ ∣ ||\\mathbf w|| ∣∣w∣∣在分母，不利于求导，因此经过变形得到最终的条件表达式如下：  
 min ⁡ w 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T x + w 0 ) ≥ 1 , i = 1 , 2 , . . . , n \\min\_\{\\mathbf w\} \\frac\{1\}\{2\}||\\mathbf w||^2\\\\ s.t. y\_i(\\mathbf w^T\\mathbf x+w\_0)\\ge 1,i=1,2,...,n wmin21∣∣w∣∣2s.t.yi(wTx\+w0)≥1,i=1,2,...,n

> 很多讲SVM的文章都是直接跳跃到这一步，没有解释详细的过程，需要有一点数学理解。

对于带限制条件的最值问题，可以使用`lagrange`乘子法求解：  
 F ( w , α i , w 0 ) = 1 2 ∣ ∣ w ∣ ∣ 2 − ∑ i = 1 n α i \[ y i ( w T x + w 0 ) − 1 \] , α i ≥ 0 F(\\mathbf w,\\alpha\_i,w\_0) = \\frac\{1\}\{2\}||\\mathbf w||^2 - \\sum\_\{i=1\}^n\\alpha\_i\[y\_i(\\mathbf w^T\\mathbf x+w\_0)-1\],\\alpha\_i\\ge 0 F(w,αi,w0)=21∣∣w∣∣2−i=1∑nαi\[yi(wTx\+w0)−1\],αi≥0

> 后面的推导涉及较多数学内容，现在还没想好，以后补充。

# 二、SVM实战 #

## 2.1 三种分类问题类型 ##

SVM用于分类的时候，经常会遇到三种类型：

*  **线性可分型**  
    ![在这里插入图片描述][20200820200550752.png_pic_center]  
    线性超平面能够直接一分为二，这类数据直接使用`sklearn.svm.SVC`采用线性核分类即可，样例代码如下：
    
        from sklearn import svm
        svc = svm.SVC(kernel='linear')
        svc = svc.fit(X, y)    # X 是特征数据，y是标签数据
 *  **软间隔型**  
    ![在这里插入图片描述][20200820202227782.png_pic_center]  
    在线性可分的基础上有部分数据点越过了边界，导致超平面没办法完全将两类数据样本分割开，通常通过加一个惩罚项，允许部分数据点没有被正确划分，样例代码如下：
    
        from sklearn import svm
        svc = svm.SVC(C=C, kernel='linear')
        svc.fit(X, y)
 *  **线性不可分型**  
    ![在这里插入图片描述][20200820203109766.png_pic_center]  
    数据点无法用一个超平面划分开，需要通过映射将两类数据点划分开，常用的是高斯核函数将二维数据点映射到三维空间中，再用超平面隔开，如下图：  
    ![在这里插入图片描述][20200821105155873.png_pic_center]  
    样例代码如下：
    
        from sklearn import svm
        svc = svm.SVC(kernel='rbf')  # 采用高斯核函数
        svc.fit(X, y)
    
    > 这是二维样本点的映射采用高斯函数，但实际中核函数的选择并非如此简单，受限于数据特征本身。

## 2.2 实际模型训练 ##

下面用`kaggle`泰坦尼克的数据做SVM的训练和预测：

> 数据准备部分的代码见[【机器学习】决策树实战与分析][Link 2]

from sklearn import metrics
    svc = svm.SVC(kernel='linear')
    svc.fit(X_train,y_train)
    
    y_train_pred = svc.predict(X_train)
    y_test_pred = svc.predict(X_test)
    
    print('Accuracy of train set is: {:.4f}'.format(metrics.accuracy_score(y_train,y_train_pred)))
    print('Accuracy of test set is: {:.4f}'.format(metrics.accuracy_score(y_test,y_test_pred)))
    confusion_matrix_result=metrics.confusion_matrix(y_test,y_test_pred)
    print('The confusion matrix result:\n',confusion_matrix_result)

![在这里插入图片描述][20200821112736557.png_pic_center]

# 三、总结 #

本文首先讲解了SVM分类数据的依据，本质上还是找决策平面，确定参数 w , w 0 \\mathbf w,w\_0 w,w0，通过寻找最大间隔的方式尽可能对等地划分数据，然后叙述了三种SVM可能遇到的数据样本类型，对不同类型，SVM有相应的处理办法：

*  **线性可分型：采用线性核**
 *  **软间隔：增加惩罚因子C**
 *  **线性不可分型：采用高斯核函数**

不足的是演示的均是模拟的随机二维数据点，在实际应用中更多会遇到的是包含多个特征分布的数据，根据数据的特征分布进行特征筛选，再利用选取的特征对数据进行分类，达到更好的分类效果。 最后，展示了在泰坦尼克数据上SVM的简单应用，可以看到准确率并没有之前决策树的效果好，可能是对特征选取不到位，需要进一步调参。

## 待补充的内容 ##

*  SVM的优化过程
 *  SVM在实际数据中的调参过程

# 四、参考资料 #

*  [阿里云天池][Link 3]

[Link 1]: https://www.gentlecp.com/articles/465.html
[20200820090003778.png_pic_center]: /images/20221124/230eaf063dd443c086faa131728ca432.png
[20190928174440398.png_pic_center]: /images/20221124/65567dc40a9e4f51bbda7e3b6bbb797e.png
[20200820200550752.png_pic_center]: /images/20221124/2f34e34f1117487f9c2f2b7eb8e84661.png
[20200820202227782.png_pic_center]: /images/20221124/06a261e438554b4ca707db4e9b45fe5d.png
[20200820203109766.png_pic_center]: /images/20221124/6603f34d6f654dcc8bfdcb1182fbf89f.png
[20200821105155873.png_pic_center]: /images/20221124/a97031653c3741f9af524af1ff313a7a.png
[Link 2]: https://blog.csdn.net/GentleCP/article/details/108081657
[20200821112736557.png_pic_center]: /images/20221124/215f5bffc48d49939baa1c21eb68f8d6.png
[Link 3]: https://developer.aliyun.com/ai/scenario/b6c1ef3172d84236ae10c3b91798a796