支持向量机原理（三）线性不可分支持向量机与核函数

傷城~ 2023-06-02 08:30 32阅读 0赞

[支持向量机原理(一) 线性支持向量机][Link 1]

[支持向量机原理（二）线性支持向量机的软间隔最大化模型][Link 2]

[支持向量机原理（三）线性不可分支持向量机与核函数][Link 3]

支持向量机原理(一) 线性支持向量机、支持向量机原理（二）线性支持向量机的软间隔最大化模型，讲的是SVM的硬间隔最大化和软间隔最大化算，但他们对完全线性不可分没办法。该博客讲述核函数在SVM中处理线性不可分数据的作用。

**1. 多项式回归**

在[线性回归原理][Link 4]中，提到将多项式回归转化为线性回归。

比如：

![1235684-20190716095419252-1002763854.png][]

令：

![1235684-20190716095443316-748917468.png][]

得到：

![1235684-20190716095534083-267685620.png][]

此时将二元多项式回归转化为五元线性回归。通过二元样本特征得到五元样本特征（x1,x2,x3,x4,x5），即（![1235684-20190716100130987-1290750115.png][]）

这给我们启发，将低维线性不可分映射到高维，变为线性可分。

**2. 核函数**

线性可分SVM的优化目标函数：

![1235684-20190716100642029-1516669379.png][]

式子中低维特征仅以内积 **xi** **• xj** 形式出现，现在定义一个低维特征空间到高维特征空间的映射**Ø**（比如上一节的2维到5维），得到SVM的优化目标函数：

![1235684-20190716102103198-203981703.png][]

可以看出，和线性可分SVM的优化目标函数的区别：将内积 **xi** **• xj** 替换为 **Ø(xi)•Ø(xj)**。

这种方法看起来解决了线性不可分SVM的问题了。可以将2维映射到5维，3维映射到19维。但低纬如果是100,1000，此时计算量太大，这种方法不合适。

核函数登场

假设**Ø**是一个从低维的输入空间**χ**（欧式空间的子集或离散集合）到高维的希尔伯特空间的 **Η** 映射。如果存在函数 **K(**x, z**)** ，对任意 x, z ∈ **χ**，都有：

![1235684-20190716103456357-689828212.png][]

此时称 **K(**x, z**)** 为核函数。

核函数将特征从低维映射高维，但核函数计算是在低维上，将实质上的分类效果（利用了内积）表现在高维上。

**3. 核函数的介绍**

scikit-learn默认的几个核函数：

**3.1 线性核函数**

线性核函数（Linear Kernel）就是线性可分SVM，表达式：

![1235684-20190716104558547-1796246093.png][]

也就是说，线性可分SVM可以和线性不可分SVM归为一类，区别在于线性可分SVM用的是线性核函数。

**3.2 多项式核函数**

多项式核函数（Polynomial Kernel）表达式：

![1235684-20190716104912276-500052569.png][]

其中，**γ,r,d**在调参时自己定义。

**3.3 高斯核函数**

高斯核函数（Gaussian Kernel），也称径向基核函数（Radial Basis Function， RBF），是非线性分类SVM最主流的核函数。libsvm默认的核函数。表达式：

![1235684-20190716105330059-704202439.png][]

其中，**γ**＞0，调参时自己定义。

**3.4 Sigmoid核函数**

Sigmoid核函数（Sigmoid Kernel）表达式：

![1235684-20190716105632871-1428346396.png][]

其中，**γ，r**调参时自己定义。

**4. 分类SVM算法小结**

此时不再区分是否线性可分。

输入：m个样本![1235684-20190716105838748-1832164050.png][]，其中 x 为 n 维特征向量。γ为二元输出，值为1或-1。

输出：分离超平面的参数 ω\*，b\*和分类决策树函数。

算法过程：

（1）、选择适当的核函数 **K(**x, z**)** 和惩罚系数 C＞0，构造约束优化问题

![1235684-20190716142644009-29324177.png][]

（2）、用SMO算法求出上式最小时对应的α向量的α\*向量。

来自：[刘建平][Link 5]

转载于:https://www.cnblogs.com/keye/p/11193558.html

[Link 1]: https://www.cnblogs.com/keye/p/10633530.html
[Link 2]: https://www.cnblogs.com/keye/p/11138981.html
[Link 3]: https://i.cnblogs.com/EditPosts.aspx?postid=11193558
[Link 4]: https://www.cnblogs.com/keye/p/10844943.html
[1235684-20190716095419252-1002763854.png]: /images/20230601/2a1caa8f925e4e7b947dcc8aba32b777.png
[1235684-20190716095443316-748917468.png]: /images/20230601/4fb5fd5d48404fae93388bd784d2b3e8.png
[1235684-20190716095534083-267685620.png]: /images/20230601/e6f4c0c0549e45eea198f794bfd13b6c.png
[1235684-20190716100130987-1290750115.png]: /images/20230601/7361414ed79d4ab49ad566d1f53aea89.png
[1235684-20190716100642029-1516669379.png]: /images/20230601/7678789bb4bb49e68ea077540895ac81.png
[1235684-20190716102103198-203981703.png]: /images/20230601/6b58277f85bc46d8a854cbdfe6ecfd58.png
[1235684-20190716103456357-689828212.png]: /images/20230601/81128fbf668c45c4b5bf3811095bcb2a.png
[1235684-20190716104558547-1796246093.png]: /images/20230601/f3787a2258084752b4238fe5040a351d.png
[1235684-20190716104912276-500052569.png]: /images/20230601/108d11760c7140d39b7e3c39845fa428.png
[1235684-20190716105330059-704202439.png]: /images/20230601/a11e28dde8e8467ba3b19544058ddcbd.png
[1235684-20190716105632871-1428346396.png]: /images/20230601/3482aa1b6bfe422fbd5f77e52efbaab5.png
[1235684-20190716105838748-1832164050.png]: /images/20230601/899282aa5cf8424d86cee8cd148852fa.png
[1235684-20190716142644009-29324177.png]: /images/20230601/9018d845fa894c8098c05b89d864c107.png
[Link 5]: https://www.cnblogs.com/pinard/p/6103615.html