机器学习之linear_model(Ridge Regression)

柔情只为你懂 2023-02-20 10:54 30阅读 0赞

这里先解释一下过拟合与欠拟合的概念。

> 所谓过拟合，是指模型学习能力过于强大，把训练样本中某些不太具有一般性的特征都学到了。例如判断一个人是否是好人，训练样本中所有好人都或多或少做过一些坏事，模型学到了这一特征，把这一模型运用到了实际预测中去，这明显是有失偏颇的，因为一个人是否是好人理论上跟一个人是否做过坏事是不相关的。

> 所谓欠拟合，是指模型学习能力低下，连训练集中的数据都不能很好的拟合，比如说我要预测一个人是否是坏人，模型只考虑到了他是否做过坏事，这明显是考虑不全的，做过坏事不一定就是坏人，那么显然这种情况就是欠拟合。

欠拟合比较好解决，比如增加模型复杂度，而过拟合就比较难以解决。回到线性模型中，线性模型中过拟合就是模型过于复杂了，考虑特征太多，或者考虑了某些特征的过高阶。Ridge regression即岭回归，是通过一种叫做**正则化**的手段来减小过拟合。  
正则化项有两种，其中岭回归采用的是第二种。正则化其实就是在线性回归最小二乘法的损失函数基础上加入了惩罚项。  
最小二乘法的损失函数，即原始损失函数为：  
![在这里插入图片描述][20200626135614142.gif_pic_center]  
即均方误差最小。  
岭回归的损失函数为：  
![在这里插入图片描述][20200626135639949.gif_pic_center]  
我们可以看到，在末尾加上了系数平方和的形式。从下方公式可以看出，更小的wi意味着更平滑的曲线。  
![在这里插入图片描述][2020062613572695.png]  
***在很多应用场景中，并不是wi越小模型越平滑越好，但是经验值告诉我们 ，越小大部分情况下都是好的。***

代码实现：  
与最小二乘法实现类似，sklearn中有专门实现岭回归的包，只是在调用时输入参数lambda即可。

from sklearn import linear_model
    import numpy as np
    import matplotlib.pyplot as plt
    from sklearn.metrics import mean_squared_error,r2_score,mean_absolute_error
    
    plt.title('Ridge_Regression')
    
    x_train_data=np.array([383.,323.,328.,207.,226.,25.,179.,60.,208.,606.]).reshape(-1,1)  #变成一个向量
    y_train_data=np.array([640.,633.,619.,393.,428.,27.,193.,66.,226.,1591.])
    
    x_test_data=np.array([385.,145.,258.,254.,100.,47.,58.,79.,415.,144.,156.,149.,20.,25.]).reshape(-1,1)
    y_test_data=np.array([830.,195.9,588.3,499.4,77.,-100.8,-150.,-88,950.8,199.3,230.5,233.,-160.,-190.])
    
    #Ridge_Regression
    reg=linear_model.Ridge(alpha=0.5)
    reg.fit(x_train_data,y_train_data)
    y_pred=reg.predict(x_test_data)
    
    #输出系数和截距
    print('w:',reg.coef_,'b:',reg.intercept_)
    #输出评价指标
    print('MSE:',mean_squared_error(y_test_data,y_pred))
    print('MAE:',mean_absolute_error(y_test_data,y_pred))
    print('R Squared:',r2_score(y_test_data,y_pred))
    
    #显示
    plt.scatter(x_test_data, y_test_data,  color='black')
    plt.plot(x_test_data, y_pred, color='blue', linewidth=3)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]

[20200626135614142.gif_pic_center]: https://img-blog.csdnimg.cn/20200626135614142.gif#pic_center
[20200626135639949.gif_pic_center]: https://img-blog.csdnimg.cn/20200626135639949.gif#pic_center
[2020062613572695.png]: https://img-blog.csdnimg.cn/2020062613572695.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200626135829565.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center