吴恩达-coursera-机器学习测试题第十一章

川长思鸟来 2022-05-17 01:08 207阅读 0赞

==============================第二讲==============================

=======                                     机器学习系统的设计                                         ======

**(一)机器学习系统的设计流程**

Step1.使用快速但不完美的算法实现；

Step2.画出学习曲线，分析偏差、方差，判断是否需要更多的数据、增加特征量....;

Step3.误差分析:人工检测错误、发现系统短处，来增加特征量以改进系统。

![Center][]

以垃圾邮件的分类为例：起初你可能找不到太多特征量，除了$、buy、discount等关键词，这时候你应该先快速实现它，然后用交叉验证集去检验，人工去检查出错的邮件的共同特征(比如你发现http超链接比较多等一开始你没想到的特征量)；最后你就可以把这些特征量加进你的模型中去重新实验去优化。

![Center 1][]

**(二)数值评估机器学习算法的标准**

1.交叉验证集误差(accuracy)

这个很好想到，设计的拟合函数如果用交叉验证集检验误差很大，那么肯定不是一个很好的学习算法；

但，是不是说误差很低就一定是好的学习算法呢？举个例子，这个例子也叫**斜偏类**：

某种癌症的患病率是0.50%，你设计的一个学习算法(综合考虑各种特征量最小化代价函数)得到交叉验证集准确率99.0%，但实际上有这样的一种预测---直接认为样本不发病（不管样本有怎样的特征量），它的交叉验证集准确率却有99.5%，这种预测是不是好的？显然并不是我们的目的。

![Center 2][]

所以评估学习算法优劣还有下面一个标准：尽可能高的查准率和召回率。

**2.查准率、召回率与F值precision、recall、F score**

**查准率：**你预测样本发病样本最后真发病的概率；

**召回率：**一个最终患病的样本，你之前也预测他患病的概率；

高的查准率意味着，我们在极为确定样本患病的情况下才告诉他患病(或者理解为不轻易预测他患病)；

高的召回率意味着，样本有可能患病我们就告诉他(或者理解为普世关怀)；

表达式如下图所示：

![Center 3][]

还是拿之前癌症的例子，你始终预测不患病y=0，召回率就为0，我们希望得到的学习算法是不仅有高的预测准确率，还要有尽可能高的查准率和召回率，所以这种简单的预测y=0的方法并不好。

查准率和召回率有时候不可兼得，所以需要权衡二者，基于二者的判断标准---F值。

F值给出了一个很好判断查准率和召回率的数值计算标准(评估度量值)，计算公式见下图：

![Center 4][]

**(三)大数据原理**Large data rationale

大量数据往往能大幅度提高学习算法的最终性能，而不在于你是否使用更高级的求解算法等，所以有这样的一句话：

"It's not who has the best algorithm that wins.It's who has the most data."

当然要基于两点前提假设：

**1.假设样本的特征能够提供充足的信息进行预测；**

你不可能指望只知道房子的面积来预测房价，不管你是不是房地产方面的专家；

**2.假设样本能提供尽可能多的特征量；**

特征量越多，越不容易出现欠拟合、高偏差的问题；

![Center 5][]

![Center 6][]

所以也有这样的**结论**成立：

1.数据量越大，高方差、过拟合问题越不可能发生；

2.特征量越多，高偏差、欠拟合问题越不可能发生；

================================结语==============================

![70][]

![70 1][]

假设有一个庞大的数据集用于训练学习算法。当以下两个条件为真时，对大量数据的训练可能会带来良好的性能。

![70 2][]

![70 3][]

![70 4][]

![70 5][]

假设您正在处理垃圾邮件分类器，其中垃圾邮件是正面的例子（y=1），而非垃圾邮件是负面的例子（y=0）。你有一组训练邮件，其中99%的邮件是非垃圾邮件，另外1%是垃圾邮件。下列哪一项是正确的？检查所有的应用。

![70 6][]

![70 7][]

![70 8][]

![70 9][]

## 为什么要使用F1衡量分类器的性能 ##

### 查准率(Precision)与查全率(Recall) ###

以信息检索为例说明，总共50篇文献，其中20篇文献是我感兴趣的目标文献，输入特定检索条件返回10篇文献，其中5篇是我要的文献。

查准率(Precision) = 查出的文章中有多少是正确目标 = 5/10

查全率(Recall) = 总共正确的文章中有多少被正确查出 = 5/20

两种值都是我们想要尽量提高的，但不可能两全其美：想要查准率为1，最好的结果就是一篇文献也没搜到，返回的结果肯定没有分类错误，但这样也没有意义；想要查全率为1，最好的情况就是50篇皆返回，这样搜索本身也失去了意义。

## F1作为单独的性能指标 ##

我们将F1定义为查准率与查全率的调和平均数。

即

![70 10][]

这样可以避免出现查全率或查准率为1而另一端为0的极端情况出现。

## 还可以根据对查准率/查全率的不同偏好设置两者的比率\\Beta ##

比如对癌症的诊断，可能更关心查全率，则\\beta设置大于1。

![70 11][]

![Center 7][]

![70 12][]

![70 13][]

![20180322204234758][]

[Center]: /images/20220517/55fcb22d344442a59e45d844678026ab.png
[Center 1]: /images/20220517/5f82b9d2fe4d4173978b9a36fae00d2f.png
[Center 2]: /images/20220517/7a9e2e5e662c4e9289e289b2f5d38e8b.png
[Center 3]: /images/20220517/3a97675518de4a399e6da95a072433e9.png
[Center 4]: /images/20220517/0a4908d87b044396a7b14a0a5b4d32c7.png
[Center 5]: /images/20220517/70986a1a189543c5841bfc6f56571200.png
[Center 6]: /images/20220517/39727c80252245f7bf0a624e266fce29.png
[70]: /images/20220517/fc4eac332d6c4aef905fa6a6c5db0dea.png
[70 1]: /images/20220517/bbc6cd838092403aa4c5e8214e1db813.png
[70 2]: /images/20220517/e0ba0bb518664fa2b8b7946f6b979e7e.png
[70 3]: /images/20220517/18cfe051637c4400b204324aaac0dbc9.png
[70 4]: /images/20220517/9a9e488b7ad7410db4d40aaf47c2c6d7.png
[70 5]: /images/20220517/fbc37afd441f41b881f6869c1b5c3afe.png
[70 6]: /images/20220517/5a0e4fb4aaae4fa5b0eff95d664e6835.png
[70 7]: /images/20220517/56b9d835531f4508b52e746612530007.png
[70 8]: /images/20220517/ed88e552789b42b5b024e818368ed189.png
[70 9]: /images/20220517/81ca2efbcde543ec932e82849ef37de1.png
[70 10]: /images/20220517/1333e1482b7b4daa8ed395012e268949.png
[70 11]: /images/20220517/cbca4851edac4a0e9dde10d1e7122cf6.png
[Center 7]: /images/20220517/7e41e49b1ac04e0aae012e4352f2dac6.png
[70 12]: /images/20220517/b83fb547c3d3441698e87673cf871f41.png
[70 13]: /images/20220517/062f6fda46f8400fa962cf77021e9cb6.png
[20180322204234758]: /images/20220517/bd0f243233f04126a9a022d1965ab9bc.png