回归算法之波士顿房价预测

不念不忘少年蓝@ 2023-07-15 15:12 37阅读 0赞

## 线性回归（linear regression） ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70][]

![20200317142853897.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 1][]

### 最小二乘法 ###

![20200317143137705.png][]

### 多元线性回归（含有多个特征值） ###

![20200317143750523.png][]

多元线性模型：（正规方程）

![20200317144258375.png][]

![20200317144529507.png][]

![20200317144556316.png][]

### 损失函数（误差大小） ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 2][]

### 梯度下降 ###

我们以单变量中的w0,w1为例子：

![20200317145512963.png][]

![20200317145530292.png][]

学习率表示预测模型的斜率，即函数下降的速率

理解：沿着这个函数下降的方向找，最后就能找到山谷的最低点，然后更新W值

使用：面对训练数据规模十分庞大的任务

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 3][]

### 正规方程和梯度下降的对比 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 4][]

### 岭回归 ###

具有l2正则化的线性最小二乘法（解决过拟合问题）

过拟合：模型过于复杂，选取的特征过多

*  解决方法：1.进行特征选择，消除关联性大的特征

2.交叉验证(让所有数据都有过训练)

3.正则化

欠拟合：模型过于简单，选取的特征过少

*  解决方法：增加数据的特征数量

完整代码：

from sklearn.datasets import load_boston
    from sklearn.linear_model import LinearRegression,SGDRegressor,Ridge
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.metrics import mean_squared_error
    from sklearn.externals import joblib
    
    def linear():
        """
        线性回归预测房价
        :return: 
        """
        #获取数据
        lb = load_boston()
    
        #拆分数据到训练集和测试集
        x_train,x_test,y_train,y_test = train_test_split(lb.data,lb.target,test_size=0.25)
    
        #标准化处理数据 防止某个特征值过大影响预测值得大小
        #特征值和目标值都必须标准化，防止因特征值变小导致权重过小，实例化两个标准化API
        std_x = StandardScaler()
        x_train = std_x.fit_transform(x_train)
        x_test = std_x.transform(x_test)
    
        #目标值  0.19版本后标准化要求传入的参数必须是二维的
        std_y = StandardScaler()
        y_train = std_y.fit_transform(y_train.reshape(-1, 1))
        y_test = std_y.transform(y_test.reshape(-1, 1))
    
        estimator预测
        使用正规方程预测
        li = LinearRegression()
        li.fit(x_train,y_train)
    
        print("权重:",li.coef_)
        #使用inverse_transform将目标值转换为标准化前的数据格式
        y_predict = std_y.inverse_transform(li.predict(x_test))
        print("预测房价:",y_predict)
        print("真实房价:",std_y.inverse_transform(y_test))
        print("正规方程的均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_predict))
    
        #使用梯度下降预测
        sgd = SGDRegressor()
        sgd.fit(x_train,y_train)
    
        print("权重:", sgd.coef_)
        # 使用inverse_transform将目标值转换为标准化前的数据格式
        y_predict = std_y.inverse_transform(sgd.predict(x_test))
        print("预测房价:", y_predict)
        print("真实房价:", std_y.inverse_transform(y_test))
        print("梯度下降的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_predict))
    
        #岭回归预测
        rd = Ridge(alpha=1.0)
        rd.fit(x_train, y_train)
    
        print("权重:", rd.coef_)
        # 使用inverse_transform将目标值转换为标准化前的数据格式
        y_predict = std_y.inverse_transform(rd.predict(x_test))
        print("预测房价:", y_predict)
        print("真实房价:", std_y.inverse_transform(y_test))
        print("岭回归的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_predict))
    
        #模型的保存和加载
        # joblib.dump(li,'./text.pkl')
        # model = joblib.load('./text.pkl')
        # y_predict = std_y.inverse_transform(model.predict(x_test))
        # print("预测结果:",y_predict)
        return None
    
    if __name__ == "__main__":
        linear()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 5][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70]: /images/20230528/3ad6bf34f9794831b57f2c92d8a67336.png
[20200317142853897.png]: /images/20230528/96c30eb96f784509901da28d9fbfec1f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 1]: /images/20230528/b4a394d90bc34a5c87c726d62dc80dff.png
[20200317143137705.png]: /images/20230528/30e93d4b7ce3489c91fa88ddfb91afac.png
[20200317143750523.png]: /images/20230528/01ea7c20a98a4a758ca57fea19fdf9c7.png
[20200317144258375.png]: /images/20230528/f36388666da04a08979d6f54e3f05fc7.png
[20200317144529507.png]: /images/20230528/3efa7b6276fa40f1abdea0d88fc6b10d.png
[20200317144556316.png]: /images/20230528/ad432372ad5942529539ebb5a41ce501.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 2]: /images/20230528/59eeeb4b8aa541f8aacaeb1f61065b90.png
[20200317145512963.png]: /images/20230528/b1e28c02ed624676bb830be3d60f4585.png
[20200317145530292.png]: /images/20230528/c64a679c12e044d3857dd54a858ddd17.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 3]: /images/20230528/3b1a189a43cf4d9381a214b2f3aed1a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 4]: /images/20230528/3cdb8263eaa84c0cb9854f45467d4aa0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 5]: /images/20230528/ded18f19cc504f8897283fbc329a6b23.png