线性回归（一）基本线性回归原理

蔚落 2022-01-30 20:35 1337阅读 0赞

一、线性回归  
回归算法是一种有监督算法  
回归算法是一种比较常用的机器学习算法，用来建立“解释”变量(自变量X)和观 测值(因变量Y)之间的关系；从机器学习的角度来讲，用于构建一个算法模型(函 数)来做属性(X)与标签(Y)之间的映射关系，在算法的学习过程中，试图寻找一个 函数使得参数之间的关系拟合性最好。 回归算法中算法(函数)的最终结果是一个连续的数据值，输入值(属性值)是一个d 维度的属性/数值向量

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 3]

2、最小二乘和极大似然估计  
线性回归求解时是具有一定的约束条件的，比如服从0均值，同方差的的高斯分布（高斯分布就是正态分布）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 4]  
利用最小二乘估计求解要求很多统计假设，  
1、解释变量是确定变量，不是随机变量。（即每个xi是已知的）  
2、随机误差项具有零均值、同方差何不序列相关性。  
3、随机误差项与解释变量之间不相关。  
4、随机误差项服从零均值、同方差的正态分布  
线性函数求解的话有两种方法，一种是最小二乘、一种是极大似然估计  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 5]  
 ϵ i \{\\epsilon\}\_i ϵi为方程的误差，则 p ( ϵ i ) p(\{\\epsilon\}\_i) p(ϵi)代表得出 ϵ i \{\\epsilon\}\_i ϵi的概率，那么每个不同的样本肯定有不同的 p ( ϵ i ) p(\{\\epsilon\}\_i) p(ϵi)，我希望我的模型使这些已经观察到的误差项都能得到，即使我的模型最大化得到这些误差项，则可以将其写为误差项概率相乘的格式（最大似然估计）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 6]  
那么当我要最大化我的概率的时候相当于要求我的损失函数是最小的，这时我的似然函数的估计才是最大的。这个最小损失函数不就是最小二乘估计的假设，即所有误差项之和最小  
 θ \{\\theta\} θ是  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 7]  
                   图1  
这里要补充几个矩阵的偏导求解  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 8]

所以最后我们的 θ = ( X T X ) − 1 X T Y \{\\theta\}=(X^TX)^\{-1\}X^\{T\}Y θ=(XTX)−1XTY,其中X,Y是已知的样本，所以最终只要我们的样本矩阵是可逆的就行了  
3、最小二乘法  
设样本为  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 9]  
注：  
最小二乘法的求导过程和最大似然法是一样  
总结 ：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 10]  
2、梯度下降  
什么是梯度  
![在这里插入图片描述][20191015092352120.png]  
梯度下降背后的思想是：开始时我们随机选择一个参数的组合（θ0,θ1,…,θn），计算代价  
函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到  
一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定  
我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，  
可能会找到不同的局部最小值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 13]

**批量梯度下降算法(BGD)** ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 14]对于 θ j θ\_j θj来说有m个点使得其下降，我们可以选择所有的点来进行迭代  
批量梯度下降就是对所有数据都进行求和并进行梯度下降，并更新 θ j θ\_j θj,每次更新完计算损失函数，看损失函数的变化情况  
**随机梯度下降算法(SGD)**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 15]  
随机梯度下降是从各个样本中选择个别的样本点，来进行梯度迭代这样的化就会避免对所有样本进行扫描。

二、过拟合、欠拟合与正则表达式  
1、代价函数  
我们的代价函数是一个凹函数，意味着，假设我们的线性函数为  
![在这里插入图片描述][20190516111534972.png]  
则可以看出在三维空间中存在一个使得 J(θ0,θ1)最小的点。  
2、多项式扩展与过拟合  
**多项式扩展**  
多项式扩展的意思是，将不同变量组合成一个新的变量，如我的特征变量为X1、X2、X3…Xn.可以在后面加入组合变量 X 1 X 2 , X 2 X 3 以 及 x 1 2 X\_1X\_2,X\_2X\_3以及x1^\{2\} X1X2,X2X3以及x12等等。通过多项式的扩展可以提高模型的精度。其中里面的最高次方数叫做多项式的项数。  
作用：通过多项式扩展，可以提高模型的准确率（其中里面的最高次方数叫做多项式的项数。）  
**过拟合**  
过拟合：如果模型在训练集上效果非常好，而在测试集上效果不好，那么认为这个时候存在过拟合的情况，多项式扩展的时候，如果指定的阶数比较大，那么有可能导致过拟合，线性回归的模型来讲，我们认为训练出来的参数值越大，越存在过拟合的选项。  
因为我们在模型中加入了变量的次方项，虽然预测效果变好了，但是很可能发生过拟合的现象  
如果发生了过拟合我们可以：

1.  丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用  
    一些模型选择的算法来帮忙（例如 PCA）
2.  正则化。 保留所有的特征，但是减少参数的大小（magnitude）。  
    为了防止过拟合的现象，我们可以加入惩罚项来防止过拟和的发生。  
    **正则化**  
    (1) 正则化的基本形式  
    一般来说正则化，由三种形式构成：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 16]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 17]  
    其中 λ \\lambda λ为惩罚项，为什么加入了正则项就会使过拟合得到改善呢，  
    看下面的这个例子  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 18]  
    可以看出第二个图发生了过拟合，而过拟合的参数则是 θ 3 \\theta\_3 θ3与\\theta\_4  
    ![在这里插入图片描述][20190516122205685.png]  
    这时如果我们在求代价函数时加入了这两个系数，那么在使代价函数最小化的同时，也使这个两个参数的值最小化，这样，便会使导致过拟合项前面的系数非常小  
    假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，即上面的正则化参数，一般来说 λ \\lambda λ的值越大，惩罚的力度越大，各个 θ i \\theta\_i θi的值就越小，过拟合的抑制效果就越好，但是如果太大了，各个系数值就相当于0了。整个模型就是一条直线，所以 λ \\lambda λ的值的大小要合适。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 19]  
    使用L2正则的线性回归模型就称为Ridge回归(岭回归)  
    ![在这里插入图片描述][20190515180659309.png]  
    其中 θ \{\\theta\} θ为各个特征前面的系数  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 20]  
    其中 θ \{\\theta\} θ为各个特征前面的系数  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 21]  
    lasso可以得到稀疏矩阵，所以当lasso回归后各个变量前面的系数接近与0时，说明这个变量是无用的可以筛选掉。  
    总结：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 22]  
    3、模型效果判断的总结  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 23]  
    MSE：误差平方和，越趋近于0表示模型越拟合训练数据。（总的误差的偏离程度）  
    RMSE：MSE的平方根，作用同MSE  
    R2：取值范围(0,1\]，

**局部加权回归**  
**线性回归总结**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 24]  
我们在计算损失函数的时候，每次给与一个具体的权重。误差比较大的点，我们认为这个点对模型的贡献不大，给与一个较小的权重，而误差较小的点，我们认为这个点对模型的贡献很大，给与一个较大的权重。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 25]  
总结：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 26]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]: /images/20220131/cdce6297207d49d3b2e69faf7603dcbc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 1]: /images/20220131/e7830269883246b69f916ee98212cbaf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 2]: /images/20220131/403a310009e444cab26eb6b22015c911.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 3]: /images/20220131/f0f0bdfba5b1422eac1c6b8f0d9b6d63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 4]: /images/20220131/2c4e0ff4a11e4a4e8f815a4e025c8b51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 5]: /images/20220131/4053383f59944411acbf86373e6df1eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 6]: /images/20220131/d639af50267e4e408c1b522cfb839530.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 7]: /images/20220131/38cab276529041e3bf896f261c14993e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 8]: /images/20220131/4bdee7e35e7e41ef9fceead963745b97.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 9]: /images/20220131/ea14e3c30811465998b53ab513fc0f6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 10]: /images/20220131/b49c0798f1704a6f80af629e385444fd.png
[20191015092352120.png]: /images/20220131/4f1e5f18501c4f48be99e21904dc3662.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 11]: /images/20220131/51fb5123fcb74d95b264856b482ad06d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 12]: /images/20220131/088a8b46ab724d58b7bee207392d5dd7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 13]: /images/20220131/4bf0e2d08f0d4ce2b641f2aa0f967895.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 14]: /images/20220131/5df665a21a12489496e45aa0556ad574.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 15]: /images/20220131/8be4fe42f6df486998ad12d5032e7575.png
[20190516111534972.png]: /images/20220131/9bf1b4f7ecd04383a29061a054f96688.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 16]: /images/20220131/d09da84693fc4aa99bf00b91359c9c31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 17]: /images/20220131/81da54d65cc64664ab3dec5b1959221d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 18]: /images/20220131/517b18b859c94dab9bd700d7250ca97c.png
[20190516122205685.png]: /images/20220131/13d7c86eb11b466d920e47f42e50f556.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 19]: /images/20220131/2596b20a147f4c779d38c0520f41994d.png
[20190515180659309.png]: /images/20220131/62d2915ad2fa4333ab030595664a8c54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 20]: /images/20220131/41af5ef772fb41cea796b9798eee811c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 21]: /images/20220131/7c2b7a669c314ffb88f4fa6cebed54ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 22]: /images/20220131/2a693d90775c4847a81c67e09d85386e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 23]: /images/20220131/2d129a2dadaa4a4097f3b1c510af8c54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 24]: /images/20220131/d6a6e4c69cfd4180b8efbf757d8a29b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 25]: /images/20220131/e253e2aa33f44e13955a1f821d4d31fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 26]: /images/20220131/48bfdb71ee0d4530843e289ddc3689ac.png