吴恩达机器学习笔记--第二周-2.多变量的线性回归

水深无声 2022-05-27 05:57 158阅读 0赞

# week2-2.Multivarite Linear Regression #

## 一、Multiple Features ##

多变量（multiple features/variable）的一些定义：

![70][]

改写后的假设：

![70 1][]

## 二、Gradient Descent for Multiple Variables ##

![70 2][]

将theta0、theta1······thetan看做一个n+1维的theta向量；

将J看做theta向量的函数。

![70 3][]

只有一个变量/特征值（n=1）与有多个变量（n>=1）时梯度下降的计算方法：

![70 4][]

## 三、Gradient Descent in Practice I-Feature Scaling ##

特征缩放（features scaling）

使不同特征的取值范围变得接近，从而使算法更快收敛，迭代次数减少：

![70 5][]

这里将特征值除以它的最大值。

特征/变量的取值范围不能太大也不能太小：

![70 6][]

均值归一化（mean normalization）：

![70 7][]

![70 8][]

## 四、Gradient Descent in Practice II-Learning Rate ##

如何检测梯度下降算法是否已经收敛：

![70 9][]

建议看图来判断算法是否收敛/正常工作。

代价函数变化不正常时通常需要重新选择较小的学习率alpha：

![70 10][]

如何合理选择学习率alpha？

从小的数开始，不断\*3，在使算法合理快速收敛的前提下，选择尽可能大的学习率alpha：

![70 11][]

## 五、Feature and Polynomial Regression ##

多项式回归（polynomial regression）

![70 12][]

二次拟合最后曲线会降->也许应该改用三次，此时更应该注意对数据进行标准化。

![70 13][]

也可用1/2次拟合。

[70]: /images/20220527/9466de1767ab4274ab6d4d03dbae61b5.png
[70 1]: /images/20220527/255fb60edba44398ac3e199505a0d74f.png
[70 2]: /images/20220527/2a9fce3fd049413d8186756cd39c3bbe.png
[70 3]: /images/20220527/2c86eae2ad9d4f758b1e239edafc5663.png
[70 4]: /images/20220527/b0eb69e871ba4417b476a7354d3ca4cc.png
[70 5]: /images/20220527/83691e6fd73c4401a9d4a873d7b4ca87.png
[70 6]: /images/20220527/f1129c66e8eb4870958fdf347317ee11.png
[70 7]: /images/20220527/a8f9979752e942d3ae95b5c3c17ddcd7.png
[70 8]: /images/20220527/958504d8d9754546b14190e245055408.png
[70 9]: /images/20220527/7a58b6f2879445e581633d1361bd018f.png
[70 10]: /images/20220527/2baa0f13ef014efcac871ae8b8e82bad.png
[70 11]: /images/20220527/ee38d49120a04026bb9db970bccfd0c1.png
[70 12]: /images/20220527/b41031ab2af847c78bd9c8f5914ea3d6.png
[70 13]: /images/20220527/a922028457a648e08c0c6314aa509361.png