机器学习入门-第四天

墨蓝 2023-03-13 05:48 100阅读 0赞

# classification #

## 1,分类和回归的区别 ##

![preview][]

**其区别的本质是loss function的定义不同**

**回归的本质:**以binary classification为例，我们选择的输出函数是![20200511181536814.png][], 我们在Training时让输入为class 1的输出为1，输入为class 2的输出为-1；那么在testing的时候，regression的output是一个数值，它接近1则说明它是class 1，它接近-1则说明它是class 2.  以回归的**loss function=真实值-输出值y**判断, 则回归的目的是使输出值越接近真实值,也即使输出值与真实值之间的误差越小越好.因此输出值越大于或越小于1以及-1都是不好的.

1.  下图中右下角尽管更属于class1,但其对应的输出值y远大于1,会被认为得到的结果很差.
2.  如果是多元分类问题，把class 1的输出当做是1，class 2的输出当做是2，class 3的输出当做是3的做法是错误的，因为当你这样做的时候，就会被Regression认为class 1和class 2的关系是比较接近的，class 2和class 3的关系是比较接近的，而class 1和class 3的关系是比较疏远的；但是当这些class之间并没有什么特殊的关系的时候，这样的标签用Regression是没有办法得到好的结果的.因为Regression的loss function是用output与“真值”的平方和作为评判标准的，这样输出值(3,2)与(3,1)之间显然是(3,2)关系更密切一些.

![format_png][]

**分类的本质:**为了解决这个问题，我们只需要重新定义一个loss function即可,我们可以把loss function定义成![20200511182110684.png][]，即这个model在所有的training data上predict预测错误的次数，也就是说分类错误的次数越少，这个function表现得就越好.

分类就是求后验概率,已知结果(输入数据)求原因(在哪一类)

![format_png 1][]

回归和分类的相互转化举例:

参考:陶韬[https://www.zhihu.com/question/21329754][https_www.zhihu.com_question_21329754]

回归方法处理分类问题本质上就是把没有度量的“类标签”赋予一个连续度量，常见的选择就是概率。例如给出三个样本，其原始标签是“类A、类B、类C”，转化后的新标签就是【1，0，0】，【0，1，0】，【0，0，1】（对就是onehot编码）。最后通过回归建立一个误差函数最小的拟合模型，然后比如说该模型对测试样本输出为【0.0914，0.2587，0.8321】则代表了该样本属于每一类的概率，然后视分类判决依据将该样本分至相应类，（若按最大似然标准，则此处样本归为类C）。现在多分类所采用的softmax就是这么做的。

## 2,Generative model生成模型 ##

参考:[https://sakura-gh.github.io/ML-notes/ML-notes-html/6\_Classification.html][https_sakura-gh.github.io_ML-notes_ML-notes-html_6_Classification.html]

生成模型是一种无监督学习方法。其本质是,我们假设输入数据都是遵从某种未知分布的, 我们从训练数据中学习，得到这种数据的分布(得到的只是近似于真实的分布)，然后以近似于真实的分布来产生新样本。如下图, 如果我们可以计算出每一个x出现的概率，得到数据的近似分布,就可以用这个分布来生成x出来.

![format_png 2][]

![format_png 3][]

## 3,分类问题就转变成求分布,也即求生成模型 ##

**这里生成模型的损失函数(goodness of function)是最大似然率.**

![format_png 4][]

**1,输入数据应该属于哪个分布呢?**

*    假设所有的feature都是相互独立产生的，这种分类叫做 Naive Bayes Classifier（朴素贝叶斯分类器）

![format_png 5][]

**2,这里输入数据均是随机的实数值,所以选择高斯分布**![20200511191248955.png][]:

就是说在水系样本中的79个精灵中，抓到其中一种精灵的概率（P（x|c1））呈高斯分布。

根据已知的79个点，尝试所有的![20200511191953102.png][], 找到一个最佳的,使"得到的分布情况与当前已知79点的分布情况相同"这件事情发生的可能性最大.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70][]

![format_png 6][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70 1][]

**4,求一个输入的分类,也即求后验概率**![20200511225028847.png][]

![format_png 7][]

![format_png 8][]

**5, 改进模型**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70 2][]

![format_png 9][]

![format_png 10][]

![20200511234202288.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70 3][]

判别模型与生成模型[https://www.jianshu.com/p/75129cd2f229][https_www.jianshu.com_p_75129cd2f229]

[preview]: /images/20230312/49c37d9e6d7f4882a89a3457bb65228b.png
[20200511181536814.png]: /images/20230312/a0f5d587b0ee42208dda929e851c67fc.png
[format_png]: /images/20230312/fe58047f298e4c309c2431e56a28715b.png
[20200511182110684.png]: /images/20230312/5f15a15dfd8a42cca0b9a8f76bf9272f.png
[format_png 1]: /images/20230312/b80ed3a7b0454c6e9852c94c213ff8c2.png
[https_www.zhihu.com_question_21329754]: https://www.zhihu.com/question/21329754
[https_sakura-gh.github.io_ML-notes_ML-notes-html_6_Classification.html]: https://sakura-gh.github.io/ML-notes/ML-notes-html/6_Classification.html
[format_png 2]: /images/20230312/bc7f669b04b04262b64f22884c97bd6a.png
[format_png 3]: /images/20230312/a7e32f6ffb4844779e775ba8e99e0048.png
[format_png 4]: /images/20230312/e9d5fbe5ffc84a66817035cd1fda1619.png
[format_png 5]: /images/20230312/299ae62c649f4efd88924becf251aa0f.png
[20200511191248955.png]: /images/20230312/4dbc1d72fa8442908a7b083bed1f99a8.png
[20200511191953102.png]: /images/20230312/25a59b389dcf43fea077104708b709f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70]: /images/20230312/dd0efc59b1694765bf39ce9d8d5cacb0.png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vU2FrdXJhLWdoL01MLW5vdGVzL3Jhdy9tYXN0ZXIvaW1nL2dhdXNzaWFuLWRpc3RyaWJ1dGlvbi5wbmc?x-oss-process=image/format,png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70 1]: /images/20230312/de07e2da2a00462088a7dbf6a3ff92ec.png
[20200511225028847.png]: /images/20230312/db52de9b93b94847a9998654cd395bd3.png
[format_png 7]: /images/20230312/c8b8834023ef406db6e9f42f3784c8f2.png
[format_png 8]: /images/20230312/eb14849c73cc403a85d38deb9aae8f17.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70 2]: /images/20230312/caeeb63f556f4c81bfa8e399f3f6b2d8.png
[format_png 9]: /images/20230312/91e1503e97d44564980441bf2e6cfebc.png
[format_png 10]: /images/20230312/0d2b74dfcc5148cbb965d7cd4a1dd7b9.png
[20200511234202288.png]: /images/20230312/f5575f4edd0d49d68e07a864a11d6c56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpbmc1MjExMzE0MTMxNA_size_16_color_FFFFFF_t_70 3]: /images/20230312/b7c24f3168824348bdbadea388164769.png
[https_www.jianshu.com_p_75129cd2f229]: https://www.jianshu.com/p/75129cd2f229