局部加权线性回归算法原理分析和代码实战

我会带着你远行 2023-02-20 07:19 50阅读 0赞

## 局部加权线性回归算法原理分析和代码实战 ##

## 前言 ##

前面我们介绍了最基础的线性回归算法，也提到了它容易出现欠拟合的现象。那么，本文的局部加权线性回归将解决这个欠拟合问题。我觉得这个思路具有很好的迁移性，咱们一起好好看看。

项目源码已上传至GitHubb上，有需要的自取：[项目地址][Link 1]  
如果项目对你有些许帮助，不要忘记给个小⭐⭐

## 算法原理分析 ##

### 1. 什么叫局部加权？ ###

使用“近朱者赤，近墨者黑”来形容这个算法再合适不过了。在你的社交圈子里，离你距离越近，对你的影响就越大，离你距离越远，对你的影响越小。我们以每一个数据为一个社交中心，对于存在于该数据周围的所有数据按照距离赋予权值，这里我们使用高斯函数进行权值计算。

### 2. 什么是高斯核函数？ ###

也称径向基函数，简称RBF，定义为空间中任意一点xi到x之间欧氏距离的单调函数。当两个点距离很近时，这个值越大，当两个点距离很远时，距离很小。我们就使用这个函数来对数据赋予权值。

数据集普遍都具有很多属性，所以一般的高斯核函数如下：

![img][]

σ表示属性值的方差

由于我们本次使用的数据集只有一个属性，并且我们需要自己控制拟合程度，所以，我们对于上面的式子做出了一点改进：

![img][img 1]

这个w权值是一个方阵，其形状大小有数据量决定。我们假设有m条数据量，那么w权值的形状大小为（mxm）的方阵。

此方阵对角线存放权值，其余全是0，这样弄的原因是为了计算表示的方便，我们看下面的式子：

![img][img 2]

![img][img 3]

接下来我以数据点x\[0\]= \[1.0, 0.42781\]为数据中心点，对整个数据集计算权值，生成的图像如下：

![image-20200624145049225][]

从图像我们可以看到，接近于0.4281的地方都比较高，都比较接近于1，离这个点越远，其值就越小。

### 3. 加入权值后的线性回归公式 ###

下面公式是在上一篇博客的公式推导基础上，进行改进的。如果没有看过，建议先去大致看一眼

[线性回归算法拟合数据原理分析以及源代码解析][Link 2]

*  **最小均方差公式**：

![img][img 4]

![img][img 5]

*  **化简形式**

![img][img 6]

*  **对F进行求导，得出α的表达式**

![img][img 7]

## 局部加权线性回归代码实战 ##

1.  **加载数据**

首先我们先看一下文本数据的属性有哪些

![image-20200624113916873][]

图中最坐标红色方块是数据的常数1，用来求解常量，对应着就是我们前面公式的b。

中间黄色的是我们的属性值α1.

最右边白色的是我们数据的值，也就是y值。

我们来看一下数据的分布情况：

![image-20200624115800582][]

def LoadData(filename):
        dataMat = []
        labelMat = []
        with open(filename) as f:
            numFeat = len(f.readline().split('\t'))-1#这里会导致忽略第一个数据
            f.seek(0)
            for line in f.readlines():
                lineArr = []
                curLine = line.strip().split('\t')
                for i in range(numFeat):
                    lineArr.append(float(curLine[i]))
                dataMat.append(lineArr)
                labelMat.append(float(curLine[-1]))
            return dataMat,labelMat

1.  首先从文件中加载进来数据
2.  获取数据的属性个数numFeat
3.  将数据的属性值和y值分别放入到dataMat列表和labelMat列表中

### 2. 进行局部加权回归 ###

def lwlr(testPoint,xArr,yArr,k=0.1):
        xMat = np.mat(xArr);yMat = np.mat(yArr).T#
        m = np.shape(xMat)[0]#数据个数
        #为什么创建方阵，是为了实现给每个数据增添不同的权值
        weights = np.mat(np.eye(m))#初始化一个阶数等于m的方阵，其对角线的值为1，其余值均为0
        for j in range(m):
            diffMat = testPoint-xMat[j,:]
            weights[j,j] = np.exp(diffMat*diffMat.T/(-2.0*k**2)) #e的指数形式
        xTx = xMat.T*(weights*xMat)
        #print("weights",weights)
        if np.linalg.det(xTx)==0.0:#通过计算行列式的值来判是否可逆
            print("this matrix is singular,cannot do inverse")
            return
        ws = xTx.I*(xMat.T*(weights*yMat))
        return testPoint*ws

1.  这里testPoint 是中心点数据，将所有数据对求解w权值。
2.  我们创建一个大小为m，对角线为1的方阵weights
3.  通过一个循环，来计算testPoint 对数据中各个点的高斯函数计算
4.  通过上面咱们推导的公式，进行求解α(代码中是ws)
5.  由于公式中，我们需要用到行列式的逆，所以，我们需要判断行列式的值是否等于0，以此来判定是否可逆。
6.  最后可以求出testPoint 的预测值

### 3. 循环求出所有数据点的预测值 ###

def lwlrTest(testArr,xArr,yArr,k=1.0):
        m = np.shape(testArr)[0]
        yHat = np.zeros(m)
        for i in range(m):
            yHat[i] = lwlr(testArr[i],xArr,yArr,k)
        return yHat

1.  这里我们使用循环，对每个数据进行循环获取其预测值，并将预测值存入到yHat数组中。

### 4. 图形的显示 ###

def lwlshow(xArr,yMat,yHat):
        fig = plt.figure()
        ax = fig.add_subplot(111)
        xCopy = np.array(xArr.copy())
        srtInd = xCopy[:,1].argsort(0)
        print("xSort",xCopy[srtInd])
        ax.plot(xCopy[srtInd][:,1],yHat[srtInd])
        yMat = np.array(yMat)
        ax.scatter(xCopy[srtInd][:,1].tolist(),yMat[srtInd],s=10,alpha=0.7)
        plt.show()

1.  这里我们首先对数据进行排序
2.  然后将预测值用直线连接，将原数据点使用点的形式显示

![image-20200624155111212][]

这里我们取k=0.01，显示的图像如上图。

接下来，我们分别测试，当k=1、0.1、0.01、0.005的图像分别是什么样的。

![image-20200624161713286][]

从图中我们能够看到，随着k的逐渐减小，原本拟合的直线逐渐的变形，慢慢的与数据开始拟合。

k=0.01的时候，拟合程度 刚刚好。当k=0.005的时候，就出现了过拟合。

## 总结 ##

通过局部加权线性回归算法，我们基本解决了一般线性回归的欠拟合问题。当然这里k的取值还是需要我们去多次尝试，找到一个合适的值。

最后我想说一点的时，这个加权的思想可以用在很多地方，我也在反复的想这个事情，希望之后学到新的算法时，能够将这个思想添加进去，以达到更好的效果。

## 参考资料 ##

*  [高斯核函数百度百科][Link 3]
 *  [线性回归算法拟合数据原理分析以及源代码解析][Link 2]
 *  [线性回归与局部加权回归][Link 4]

[Link 1]: https://github.com/lzx1019056432/Be-Friendly-To-New-People
[img]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjE0NS5wbmc?x-oss-process=image/format,png
[img 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjE0OC5wbmc?x-oss-process=image/format,png
[img 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjE1Mi5wbmc?x-oss-process=image/format,png
[img 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjE1NC5wbmc?x-oss-process=image/format,png
[image-20200624145049225]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjE1OS5wbmc?x-oss-process=image/format,png
[Link 2]: https://blog.csdn.net/lzx159951/article/details/106941802
[img 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjIwMy5wbmc?x-oss-process=image/format,png
[img 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjIwNi5wbmc?x-oss-process=image/format,png
[img 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjIwOS5wbmc?x-oss-process=image/format,png
[img 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjIxMS5wbmc?x-oss-process=image/format,png
[image-20200624113916873]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjIxNC5wbmc?x-oss-process=image/format,png
[image-20200624115800582]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDEyNDAwMi5wbmc?x-oss-process=image/format,png
[image-20200624155111212]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjIyNS5wbmc?x-oss-process=image/format,png
[image-20200624161713286]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyNDE2MjIyOS5wbmc?x-oss-process=image/format,png
[Link 3]: https://baike.baidu.com/item/%E9%AB%98%E6%96%AF%E6%A0%B8%E5%87%BD%E6%95%B0/6661425?fr=aladdin
[Link 4]: https://blog.csdn.net/Wprofessor/article/details/88877317