支持向量机

心已赠人 2023-06-20 06:06 3阅读 0赞

首先说明支持向量机模型由简至繁：线性可分支持向量机、线性支持向量机、非线性支持向量机。  
1.支持向量机与感知机关系：  
在感知机分类中，利用误分类最小的策略来求得分离超平面，但是感知机求得的超平面有无数多个。  
线性可分支持向量机为利用间隔最大化求最优分离超平面，来使得解具有唯一性。  
2.几种支持向量机：

*  线性可分支持向量机-最大间隔法为使得感知机的解具有唯一性。加入最大间隔法，最大间隔得到的超平面使得能把训练数据不仅能分开而且能较好的分开。主要的函数是函数间隔和几何间隔。
 *  线性可分支持向量机根据拉格朗日函数形成线性可分支持向量机的对偶学习算法。
 *  线性支持向量机是解决线性可分支持向量机无法求解训练数据近似线性可分的问题。这里的线性支持向量机指的是线性不可分支持向量机。线性支持向量机的另一种解释：合页损失函数。
 *  非线性支持向量机解决非线性分类问题。非线性支持向量机所有的方法是核技巧，核技巧就是将输入空间经过非线性变换到特征空间，然后再在特征空间上进行线性求解。常用的核函数有多项式核函数、高斯核函数、字符串核函数。  
    3.实现支持向量机算法：序列最小最优化算法（SMO）.  
    4.代码实现

from sklearn import svm
    import numpy as np
    import matplotlib.pyplot as plt
    np.random.seed(0)
    x=np.r_[np.random.randn(20,2)-[2,2],np.random.randn(20,2)+[2,2]]   #正太分布生成20行2列,前20行分别减2，后20行分别加2
    y=[0]*20+[1]*20
    clf=svm.SVC(kernel='linear')
    clf.fit(x,y)
    
    w=clf.coef_[0]  #获取w
    
    a=-w[0]/w[1]   #斜率
    xx=np.linspace(-5,5)  
    yy=a*xx-(clf.intercept_[0]/w[1])   #xx带入y,Ax+By+C=0,y=(-A/B)*x-(C/B)，
                                       #这里的B=w[1],C=clf.intercept_[0],clf.intercept_表示常数b*
    #画出与点相切的线 
    b=clf.support_vectors_[0]
    #print(b)
    yy_down=a*xx+(b[1]-a*b[0])
    b=clf.support_vectors_[-1]
    yy_up=a*xx+(b[1]-a*b[0])
    
    plt.figure(figsize=(8,4))
    plt.plot(xx,yy)
    plt.plot(xx,yy_down)
    plt.plot(xx,yy_up)
    plt.scatter(x[:,0],x[:,1])
    plt.scatter(clf.support_vectors_[:,0],clf.support_vectors_[:,1],s=80)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc3NTI0Mg_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc3NTI0Mg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191207224012293.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc3NTI0Mg==,size_16,color_FFFFFF,t_70