超平面是什么？-SVM

系统管理员 2022-06-05 04:40 335阅读 0赞

最近学习机器学习西瓜书的支持向量机，开篇就遇到超平面这个概念，找资料找了很久，并没有找到很好的资料。不是数学系的真痛苦，是数学系的更痛苦。虽然没有找到什么资料，先把网上的资料先整理整理，之后慢慢把概念补上。西瓜书里面有这么一句话：“在样本空间中，划分超平面可通过如下线性方程来描述：![Center][],其中![Center 1][]为法向量（列向量），决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。显然，划分超平面可被法向量w和位移b确定”。

在说超平面之前，先说说 *Rn* 空间中的直线和平面。给定 *Rn* 空间中的一点 *p* 和一非负向量 *v*⃗ ，满足*i *= *tv*⃗ +*p。*点 i 的集合称为 Rn 空间中的一条直线。上式中 t 是一个标量，向量 v⃗  决定了该直线的方向。相对的，给定 Rn 空间中的一点 p和两个线性无关的向量 v⃗ ,w⃗ ，满足i=tv⃗ +sw⃗ +p。点 *i* 的集合称为 *Rn* 空间中的一个平面。上式中 *t*,*s* 均是标量。

![Center 2][]![Center 3][]

更一般的，给定 Rn 空间中的一点 p和线性无关的向量 v1→,v2→,...,vk→，满足i=t1v1→+t2v2→+...+tkvk→+p的点 i 的集合称为 Rn 空间的一个k维仿射子空间（k-dimensionalaffine subspace）。因此，一条直线就是一个1维仿射子空间，一个平面就是一个2维仿射子空间。

我们对“平面”概念的理解，一般是定义在三维空间中的，即

![Center 4][]

这个平面由两个性质定义：1、方程是线性的，是由空间点的各分量的线性组合。2、方程数量是1。这个平面是建立在“三维”上的。如果我们撇开“维度”这个限制，那么就有了超平面的定义。实际上，超平面是纯粹的数学概念，不是物理概念，它是平面中的直线、空间中的平面的推广，只有当维度大于3，才称为“超”平面。**它的本质是**自由度比空间维度小1。自由度的概念可以简单的理解为至少要给定多少个分量的值才能确定一个点. 例如, 三维空间里的(超)平面只要给定了(x,y,z)中任意两个分量, 剩下的一个的值就确定了. 先确定值的两个分量是自由的, 因为它们想取什么值就能取什么值;剩下的那个是"不自由的", 因为它的值已经由另外两确定了. 二维空间里的超平面为一条直线. 一维空间里超平面为数轴上的一个点。

百度百科上对超平面的数学定义是这样的：超平面H是从n维空间到n-1维空间的一个映射子空间，它有一个n维向量和一个实数定义。因为是子空间，**所以超平面一定过原点。**

通常，R2（二维空间）中的点集 i = （x,y）满足等式 (点集 i 实际为一条直线)：

ax + 1/by + c = 0   (1)      (这里使用1/b 是为了后续计算好表示)

其中，a，b，c均为标量，a，1/b至少有一个不为0.我们假设 b 不为0。，那么

y = -abx  - cb

此时，使用换元法，令 t = x,（显然，t 为标量） 则点集 i (x,y) 可以表示成

i (x,y) =   ( t, -abt - cb） = t (1, -ab) + (0, -cb)

这条直线是什么？实际上就是过 (0, -cb) 点，方向为 (1, -ab) 的直线 L。

进一步，我们令向量 **n  =  （a,1/b），**则 （1）可以表示成***n***\* i + c = 0  (2)

神奇的一刻来临了。假设在直线 L 上取一点 p0(x0，y0），显然，*n*\* p0 + c = 0，那么 c = -*n*\* p0.

更进一步，将 （2）改写，可得 *n*\* i-*n*\* p0 = 0 ，即可 *n*\* （i - p0 ) = 0。

因为 n 和（i - p0 ) 均是向量，（i - p0 ) 在直线 L 上， 所以，n 垂直直线L ,即n为直线L 的法向量。更进一步，我们可以得到，那些与p的差向量与 n 向量正交的点，就是点集 i (x,y).

**进一步解释什么是超平面：**

给定向量空间 Rn 中的一个点 P 和一个非零向量**n ,**满足

**n \* （i - p）= 0**

**       **则称点集 i 为通过点p 的超平面，向量 **n**为通过超平面的法向量。按照这个定义，虽然当维度大于3才可以成为“超”平面，但是你仍然可以认为，一条直线是 R2 空间内的超平面，一个平面是 R3 空间内的超平面 。Rn 空间的超平面是Rn 空间内的一个 n - 1 维的仿射子空间。

网上参考资料：http://blog.csdn.net/denghecsdn/article/details/77313758

http://www.xuebuyuan.com/1734154.html

[Center]: https://img-blog.csdn.net/20171117155953349?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYXNtYXJ0a2lsbGVy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 1]: /images/20220605/299643478e404482aac7a2dfb4747a9c.png
[Center 2]: https://img-blog.csdn.net/20171117161405917?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYXNtYXJ0a2lsbGVy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 3]: /images/20220605/54d8da1ec81946a98830364001937f79.png
[Center 4]: /images/20220605/a452992b969141a48811d1beed687688.png