机器学习：生成模型和判别模型的区别

╰+攻爆jí腚メ 2022-12-11 13:43 197阅读 0赞

## 一、名词解释 ##

生成方法由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)为预测的模型，即生成模型：  
 P ( Y ∣ X ) = P ( X , Y ) P ( X ) P(Y|X)=\\frac\{P(X,Y)\}\{P(X)\} P(Y∣X)=P(X)P(X,Y)

这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型由朴素贝叶斯法和隐马尔可夫模型。

判别方法由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测模型，即判别模型。判别方法关心的是对给定的输入X，应该预测什么样的输出Y。典型的判别模型包括：k近邻法、感知机、决策树、逻辑回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。

## 二、举例说明 ##

其实机器学习的任务是从属性X预测标记Y，即求概率P(Y|X)；

对于判别式模型来说求得P(Y|X)，对未见示例X，根据P(Y|X)可以求得标记Y，即可以直接判别出来，如上图的左边所示，实际是就是直接得到了判别边界，所以传统的、耳熟能详的机器学习算法如线性回归模型、支持向量机SVM等都是判别式模型，这些模型的特点都是输入属性X可以直接得到Y（对于二分类任务来说，实际得到一个score，当score大于threshold时则为正类，否则为反类）~（根本原因个人认为是对于某示例 X 1 X\_1 X1，对正例和反例的标记的条件概率之和等于1，即 P ( Y 1 ∣ X 1 ) + P ( Y 2 ∣ X 1 ) = 1 ） P(Y\_1|X\_1)+P(Y\_2|X\_1)=1） P(Y1∣X1)\+P(Y2∣X1)=1）

而生成式模型求得P(Y,X)，对于未见示例X，你要求出X与不同标记之间的联合概率分布，然后大的获胜，如上图右边所示，并没有什么边界存在，对于未见示例（红三角），求两个联合概率分布（有两个类），比较一下，取那个大的。机器学习中朴素贝叶斯模型、隐马尔可夫模型HMM等都是生成式模型，熟悉Naive Bayes的都知道，对于输入X，需要求出好几个联合概率，然后较大的那个就是预测结果~（根本原因个人认为是对于某示例X\_1，对正例和反例的标记的联合概率不等于1，即 P ( Y 1 , X 1 ) + P ( Y 2 , X 1 ) < 1 P(Y\_1,X\_1)+P(Y\_2,X\_1)<1 P(Y1,X1)\+P(Y2,X1)<1，要遍历所有的X和Y的联合概率求和，即sum(P(X,Y))=1，具体可参见楼上woodyhui提到的维基百科[Generative model][]里的例子）

[博文机器学习之判别式模型和生成式模型 - nolonely - 博客园][- nolonely -] 举了一个例子：

判别式模型举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。

生成式模型举例：利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，在放到绵羊模型中看概率是多少，哪个大就是哪个。

细细品味上面的例子，判别式模型是根据一只羊的特征可以直接给出这只羊的概率（比如logistic regression，这概率大于0.5时则为正例，否则为反例），而生成式模型是要都试一试，最大的概率的那个就是最后结果~

在机器学习中任务是从属性X预测标记Y，判别模型求的是P(Y|X)，即后验概率；而生成模型最后求的是P(X,Y)，即联合概率。从本质上来说：

判别模型之所以称为“判别”模型，是因为其根据X“判别”Y；

而生成模型之所以称为“生成”模型，是因为其预测的根据是联合概率P(X,Y)，而联合概率可以理解为“生成”(X,Y)样本的概率分布（或称为 依据）；具体来说，机器学习已知X，从Y的候选集合中选出一个来，可能的样本有 ( X , Y 1 ) , ( X , Y 2 ) , ( X , Y 3 ) , … … ， ( X , Y n ) (X,Y\_1), (X,Y\_2), (X,Y\_3),……，(X,Y\_n) (X,Y1),(X,Y2),(X,Y3),……，(X,Yn),实际数据是如何“生成”的依赖于P(X,Y)，那么最后的预测结果选哪一个Y呢？那就选“生成”概率最大的那个吧~

## 三、参考资料 ##

【1】《统计学习方法》李航  
【2】https://www.zhihu.com/question/20446337

[Generative model]: https://link.zhihu.com/?target=https%3A//en.wikipedia.org/wiki/Generative_model
[- nolonely -]: https://link.zhihu.com/?target=http%3A//www.cnblogs.com/nolonely/p/6435213.html