一元线性回归模型与最小二乘法及其C++实现

向右看齐 2022-07-24 06:22 194阅读 0赞

from：http://blog.csdn.net/qll125596718/article/details/8248249\#t2

目录[(?)][Link 1][\[-\]][Link 1]

1.  [一元线性回归模型][Link 2]
2.  [参数估计最小二乘法][Link 3]
3.  [最小二乘法c++实现][c]

监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面...这里，谈一谈最简单的一元线性回归模型。

## 1.一元线性回归模型 ##

模型如下：

![1354427536_8300.jpg][]

![1354427734_2305.jpg][]http://blog.csdn.net/qll125596718/article/details/8248249\#t2

总体回归函数中Y与X的关系可是线性的，也可是非线性的。对线性回归模型的“线性”有两种解释：

（1）就变量而言是线性的，Y的条件均值是 X的线性函数

（2）就参数而言是线性的，Y的条件均值是参数![1354428016_7780.jpg][]的线性函数

线性回归模型主要指就参数而言是“线性”,因为只要对参数而言是线性的,都可以用类似的方法估计其参数。

## 2.参数估计——最小二乘法 ##

对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：

（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。  
        （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。  
        （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

最常用的是普通最小二乘法（ Ordinary  Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）

样本回归模型：

![1354428434_7303.jpg][]

残差平方和：

![1354428515_1582.jpg][]

则通过Q最小确定这条直线，即确定![1354428590_9906.jpg][]，以![1354428601_4150.jpg][]为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：

![1354428700_9699.jpg][]

解得：

![1354428824_3244.jpg][]

## 3.最小二乘法c++实现 ##

**\[cpp\]**  [view plain][Link 1]   [copy][Link 1]

1.  \#include<iostream>  
2.  \#include<fstream>  
3.  \#include<vector>  
4.  **using** **namespace** std;  
5.    
6.  **class** LeastSquare\{  
7.      **double** a, b;  
8.  **public**:  
9.      LeastSquare(**const** vector<**double**>& x, **const** vector<**double**>& y)  
10.     \{  
11.         **double** t1=0, t2=0, t3=0, t4=0;  
12.         **for**(**int** i=0; i<x.size(); ++i)  
13.         \{  
14.             t1 += x\[i\]\*x\[i\];  
15.             t2 += x\[i\];  
16.             t3 += x\[i\]\*y\[i\];  
17.             t4 += y\[i\];  
18.         \}  
19.         a = (t3\*x.size() - t2\*t4) / (t1\*x.size() - t2\*t2);  
20.         //b = (t4 - a\*t2) / x.size();  
21.         b = (t1\*t4 - t2\*t3) / (t1\*x.size() - t2\*t2);  
22.     \}  
23.   
24.     **double** getY(**const** **double** x) **const**  
25.     \{  
26.         **return** a\*x + b;  
27.     \}  
28.   
29.     **void** print() **const**  
30.     \{  
31.         cout<<"y = "<<a<<"x + "<<b<<"\\n";  
32.     \}  
33.   
34. \};  
35.   
36. **int** main(**int** argc, **char** \*argv\[\])  
37. \{  
38.     **if**(argc != 2)  
39.     \{  
40.         cout<<"Usage: DataFile.txt"<<endl;  
41.         **return** -1;  
42.     \}  
43.     **else**  
44.     \{  
45.         vector<**double**> x;  
46.         ifstream in(argv\[1\]);  
47.         **for**(**double** d; in>>d; )  
48.             x.push\_back(d);  
49.         **int** sz = x.size();  
50.         vector<**double**> y(x.begin()+sz/2, x.end());  
51.         x.resize(sz/2);  
52.         LeastSquare ls(x, y);  
53.         ls.print();  
54.           
55.         cout<<"Input x:\\n";  
56.         **double** x0;  
57.         **while**(cin>>x0)  
58.         \{  
59.             cout<<"y = "<<ls.getY(x0)<<endl;  
60.             cout<<"Input x:\\n";  
61.         \}  
62.     \}  
63. \}  
64.

[Link 1]: http://blog.csdn.net/qll125596718/article/details/8248249#
[Link 2]: http://blog.csdn.net/qll125596718/article/details/8248249#t0
[Link 3]: http://blog.csdn.net/qll125596718/article/details/8248249#t1
[c]: http://blog.csdn.net/qll125596718/article/details/8248249#t2
[1354427536_8300.jpg]: https://img-my.csdn.net/uploads/201212/02/1354427536_8300.jpg
[1354427734_2305.jpg]: https://img-my.csdn.net/uploads/201212/02/1354427734_2305.jpg
[1354428016_7780.jpg]: https://img-my.csdn.net/uploads/201212/02/1354428016_7780.jpg
[1354428434_7303.jpg]: https://img-my.csdn.net/uploads/201212/02/1354428434_7303.jpg
[1354428515_1582.jpg]: https://img-my.csdn.net/uploads/201212/02/1354428515_1582.jpg
[1354428590_9906.jpg]: https://img-my.csdn.net/uploads/201212/02/1354428590_9906.jpg
[1354428601_4150.jpg]: https://img-my.csdn.net/uploads/201212/02/1354428601_4150.jpg
[1354428700_9699.jpg]: https://img-my.csdn.net/uploads/201212/02/1354428700_9699.jpg
[1354428824_3244.jpg]: https://img-my.csdn.net/uploads/201212/02/1354428824_3244.jpg