对数线性模型：逻辑斯谛回归和最大熵模型

秒速五厘米 2022-07-16 08:18 263阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/52788947][blog.csdn.net_pipisorry_article_details_52788947]

# **对数线性模型log linear model** #

对数线性模型有：最大熵模型和逻辑斯谛回归。

## **特征和指示特征** ##

![Center][]

![Center 1][]

![Center 2][]

## 对数线性模型的一般形式 ##

![Center 3][]

![Center 4][]

\[概率图模型原理与技术\]

[某小皮][Link 1]

# 对数线性模型的不同形式 #

## 因子图 ##

将因子转换到对数空间，成为对数线性模型。

\[[PGM：无向图模型：马尔可夫网 ][PGM_]：对数线性模型\]

## 最大熵模型 ##

![Center 5][]

\[[最大熵模型The Maximum Entropy：模型][The Maximum Entropy]\] \[[最大熵模型：学习][Link 2]\]

## 逻辑斯谛回归Logistic Regression ##

多类分类的LR模型生成的推导：（两类分类更简单，直接类比嘛）

![Center 6][]

![Center 7][]

lz：这里ak是对数表示的，而给定类条件概率密度p(x|ck)如高斯分布时，ak是通常是线性表示的![Center 8][]，所以才叫对数线性模型吧。

因为ak通常可以使用线性表示，所以多类LR模型使用判别式直接定义成：

![Center 9][]

lz: 就是把一般形式中的feature特征fi(Di)定义为ak了。

### LR模型的导出 ###

lz也不知道LR模型怎么来的，不过lz总结了几种都可以解释的方面：

1 回归模型+logistic函数直接得到

2 最大熵模型的特例，即直接将特征f(x, y)设为X=x（即在所有X=x的值上搞一个权重w）。

3 广义线性模型导出\[[对数线性模型之一][Link 3](逻辑回归), 广义线性模型学习总结\]

4 生成式模型+高斯形式的类条件概率分布得到

from: [http://blog.csdn.net/pipisorry/article/details/52788947][blog.csdn.net_pipisorry_article_details_52788947]

ref:

[blog.csdn.net_pipisorry_article_details_52788947]: http://blog.csdn.net/pipisorry/article/details/52788947
[Center]: /images/20220716/a855ba624c4744d092e0e15ab24b0df4.png
[Center 1]: /images/20220716/960e7e39582c452dad3283bb8b2061e2.png
[Center 2]: /images/20220716/56ec7f87f79b406f8f4678875d40b5c5.png
[Center 3]: /images/20220716/03187879f66b484ab17c6bb0d69c659f.png
[Center 4]: /images/20220716/b20493fc20f74fb5ad6595878d52e805.png
[Link 1]: http://my.csdn.net/
[PGM_]: http://blog.csdn.net/pipisorry/article/details/52489321
[Center 5]: /images/20220716/df0a70a53d214f08b00339e8008963f5.png
[The Maximum Entropy]: http://blog.csdn.net/pipisorry/article/details/52789149
[Link 2]: http://blog.csdn.net/pipisorry/article/details/52791036
[Center 6]: /images/20220716/397c7dfbfc0e49819391e6ac0d3a3665.png
[Center 7]: /images/20220716/5a8eaaec23cd49ca941b4a422fdf6d6a.png
[Center 8]: /images/20220716/5b45a6858917470b8e2f49975bf7c546.png
[Center 9]: /images/20220716/054bde91032d4d4ca4d4f999004e746f.png
[Link 3]: http://blog.csdn.net/lilyth_lilyth/article/details/10032993