线性回归的小代码（传统计算和梯度下降的计算）

「爱情、让人受尽委屈。」 2022-05-12 04:40 32阅读 0赞

数据集：[dataset][] 密码：fl02  
梯度下降的方法对于大数据量的处理十分重要。

#coding = 'utf-8'
    import numpy as np
    from numpy.linalg import inv#求矩阵的逆
    from numpy import dot#矩阵点乘
    from numpy import mat#引入矩阵
    import pandas as pd
    
    dataset = pd.read_csv('dataset.csv')
    # print(dataset)
    
    temp = dataset.iloc[: , 2:5]
    temp['x0'] = 1
    x = temp.iloc[:, [3,0,1,2]]
    # print(x)
    y = dataset.iloc[: , 1].values.reshape(501,1)
    # print(y)
    print('传统直接计算的方法')
    thta = dot(dot(inv(dot(x.T,x)),x.T),y)
    print(thta)
    print('============================')
    print('梯度下降法')
    #初始化thta
    thta = np.array([1.,1.,1.,1.]).reshape(4,1)
    alpha = 0.1 #学习速率
    temp = thta
    x0 = x.iloc[: , 0].values.reshape(501,1)
    x1 = x.iloc[: , 1].values.reshape(501,1)
    x2 = x.iloc[: , 2].values.reshape(501,1)
    x3 = x.iloc[: , 3].values.reshape(501,1)
    
    for i in range(100000):
        temp[0] = thta[0] + alpha * np.sum((y - dot(x, thta)) * x0) / 501.
        temp[1] = thta[1] + alpha * np.sum((y - dot(x, thta)) * x1) / 501.
        temp[2] = thta[2] + alpha * np.sum((y - dot(x, thta)) * x2) / 501.
        temp[3] = thta[3] + alpha * np.sum((y - dot(x, thta)) * x3) / 501.
        thta = temp
    print(thta)

由以上计算结果可知，传统的方法是计算最小的的thta，而梯度下降的方法计算的是不断地接近最小值的数值。由于这里的循环次数相对于数据量来说有点大，所以计算的结果是相等的。调小一点就可以看出区别。

[dataset]: https://pan.baidu.com/s/1lHm-7aetO22DARNUFPq5yw