吴恩达-coursera-机器学习测试题第十章

ゞ浴缸里的玫瑰 2022-05-18 08:58 473阅读 0赞

=========                关于偏差、方差以及学习曲线为代表的诊断法         ==========

**(一)模型选择**Model selection

在评估假设函数时，我们习惯将整个样本按照6:2:2的比例分割：60%训练集training set、20%交叉验证集cross validation set、20%测试集test set，分别用于拟合假设函数、模型选择和预测。

![Center][]

三个集合对应的误差如下图所示(注意没有不使用正则化项)：

![Center 1][]

基于以上划分，我们有模型选择的三个步骤：

step1.用测试集training set对多个模型(比如直线、二次曲线、三次曲线)进行训练；

step2.用交叉验证集cross validation set验证step1得到的多个假设函数，选择交叉验证集误差最小的模型；

step3.用测试集test set对step2选择的最优模型进行预测；

![Center 2][]

以线性回归为例，假设你利用线性回归模型最小化代价函数J(θ)求解得到一个假设函数h(x)，如何判断假设函数对样本的拟合结果是好是坏，是不是说所有点都经过(代价函数J最小)一定是最理想的？

或者这样说，给你下图的样本点，你是选择直线、二次曲线、还是三次曲线......作为假设函数去拟合呢？

![Center 3][]![Center 4][]

以下图为例，你的模型选取其实直接关系到最终的**拟合结果**：

=======================================

**欠拟合**Underfit          ||  **高偏差**High bias

**正常拟合**Just right    ||  **偏差和方差均较小**

**过拟合**Overfit              ||   **高方差**High variance

=======================================

![Center 5][]

★★★以上问题只是模型选择过程中需要考虑的一点------多项式次数d，实际上，我们还会去考虑这样两个参数：正则化参数λ、样本量m.

下面我将从多项式次数d、正则化参数λ、样本量m这三个量与拟合结果之间的关系做一个简单的概括.

**(二)偏差、方差、学习曲线Bias、Variance、Learning curve**

**1.特征量的度**d

还是之前的例子，用二次曲线拟合，训练集和交叉验证集的误差可能都很小；但是你用一条直线去拟合，不管使用多高级的算法去减小代价函数，偏差仍然是很大的，这时候我们就说：多项式次数d过小，导致高偏差、欠拟合；类似的当用10次曲线去拟合，样本点都能经过，对应的代价函数(误差)为0，但是带入交叉验证集你会发现拟合很差，这时候我们说：多项式次数d过大，导致高方差、过拟合。

所以，多项式次数d与训练集、交叉验证集误差的关系如下图：

![Center 6][]

**2.正则化参数**λ

[正则化参数][Link 1]我们在第三周有介绍到，正则化参数λ越大，对θ惩罚的越厉害,θ->0，假设函数是一条水平线，欠拟合、高偏差；正则化参数越小，相当于正则化的作用越弱，过拟合、高方差。关系如下图所示：

![Center 7][]

**3.****样本量**m**与学习曲线**Learning curve

学习曲线是样本量与训练集、交叉验证集误差之间的关系，分为高偏差和高方差两种情况(欠拟合和过拟合)。

**①高偏差(欠拟合)：**

根据下图右部分分析有，通过增加样本量两者误差都很大，即m的增加对于算法的改进无益。

![Center 8][]

**②高方差(过拟合)：**

根据下图右部分分析有，通过增加样本量训练集样本拟合程度很好(过拟合)，训练集误差很小，即m的增加对于算法的改进有一些帮助。

![Center 9][]

**★★★(三)如何决策**

综上所述，你会发现有这样的一个**结论**，就是：

◆训练集误差大、交叉验证集误差也大：欠拟合、高偏差、多项式次数d太小、λ太大；

◆训练集误差小、交叉验证集误差却很大：过拟合、高方差、多项式次数d太大、λ太下、样本量太少。

这就为我们改善机器学习算法提供了依据。

![Center 10][]

![70][]

![70 1][]

![70 2][]

![70 3][]

解决高偏差：

尝试获得更多的特征

尝试增加多项式特征

尝试减少归一化程度lamda

![70 4][]

![70 5][]

![70 6][]

![70 7][]

![70 8][]

训练集误差小、交叉验证集误差却很大：过拟合、高方差、多项式次数d太大、λ太下、样本量太少。

这就为我们改善机器学习算法提供了依据。

![70 9][]

训练集误差大、交叉验证集误差也大：欠拟合、高偏差、多项式次数d太小、λ太大；

这个时候有三种方法：

Try getting additional features 增加更多的特征向量

Try adding ploynomail features  增加多项式特征

Try decreasing lamda 减少归一化程度lamda

![70 10][]

![70 11][]

应该是通过训练集让我们的模型学习得出其参数后，然后对测试集运用该模型

假设你用线性回归来预测房价，你的数据集是按照增加房屋的大小来排序的。在将数据集分割成培训、验证和测试集之前，随机地将数据集打乱，这样我们就不会有所有最小的房子进入培训集，所有最大的房子都进入测试集。这是对的

假设您正在使用多项式特性训练一个逻辑回归分类器，并希望选择使用什么程度多项式（在课堂视频中表示dd）。在对整个培训集中培训分类器之后，您决定使用培训示例的子集作为验证集，这将与从培训集中分离（分离）的验证集一样有效。这不对 不能用自己的训练集来，而是应该

![70 12][]

一个典型的数据集分割为训练、验证和测试集可能是60%的培训集，20%的验证集和20%的测试集。

![70 13][]

![70 14][]

[Center]: /images/20220518/340c7e8b9d404f2d8ea33f603a73e776.png
[Center 1]: /images/20220518/c87a868de1fc4d88be6980a366739076.png
[Center 2]: /images/20220518/5d16a3e4997b431e93cf26effd2b7ab0.png
[Center 3]: https://img-blog.csdn.net/20160122205614344?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 4]: /images/20220518/e9cefb5510164a22a1fdc02918c3ed8f.png
[Center 5]: /images/20220518/1581857e52944c23b701fe1cc8780d40.png
[Center 6]: /images/20220518/e8bd384384324d2a8177135f810e3fa9.png
[Link 1]: http://blog.csdn.net/u012717411/article/details/50531678
[Center 7]: /images/20220518/335529a3732c415d98192d458bf3b6ed.png
[Center 8]: /images/20220518/648576815aaf479a97541580f1142a41.png
[Center 9]: /images/20220518/26308d8ab9a5400c8125d83a5b7176f0.png
[Center 10]: /images/20220518/d4eac9d020e54dd5948f89d5d8146839.png
[70]: /images/20220518/6f5ea829b73848c2bba90053839616b9.png
[70 1]: /images/20220518/24545840cb7d4e099d8cc96168607264.png
[70 2]: /images/20220518/736b21b63001411783647d85cb61cee8.png
[70 3]: /images/20220518/5fc530c0de664509afaee8398e964088.png
[70 4]: /images/20220518/eea04f5028734c1e84b52d355ddd596d.png
[70 5]: /images/20220518/12db164a1266425a82818763048ad9c4.png
[70 6]: /images/20220518/562829a9685e4e8e9f9eae7f30fbdf0c.png
[70 7]: /images/20220518/0e8da69374374c2986af882ae3ed0776.png
[70 8]: /images/20220518/a675891bbf964976a54574e5ffb8a092.png
[70 9]: /images/20220518/2011507556104a1693c63dabed549a91.png
[70 10]: /images/20220518/fcc5c9c047d94e4c94d2254c7977cab1.png
[70 11]: /images/20220518/1adb1f22292446ffa4220b642e0325e9.png
[70 12]: /images/20220518/cd186c2e7a834c17ada1350a559d1d36.png
[70 13]: /images/20220518/1cd662f8e5a643428df41b7621c11405.png
[70 14]: /images/20220518/a3f40d964ea345298d035e35f84cf56e.png