MEMM最大熵马尔科夫模型

本是古典何须时尚 2022-09-22 11:57 190阅读 0赞

### [做事必须搞清楚的九个顺序！][Link 1] ###

1.职场：先升值，再升职； 2.沟通：先求同，再求异； 3.执行：先完成，再完美； 4.学习：先记录，再记忆； 5.投诉：先解决心情，再解决事情； 6.人际：先交流，再交心； 7.先成长，再成功； 8.先站住，再站高； 9.先仿造，再创造。

CRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序列标注的建模，像词性标注，True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择，而最大熵隐马模型则解决了这一问题，可以任意的选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题（label bias），即凡是训练语料中未出现的情况全都忽略掉，而条件随机场则很好的解决了这一问题，他并不在每一个节点进行归一化，而是所有特征进行全局归一化，因此可以求得全局的最优值。

最大熵马尔科夫在建模的时候考虑的问题和ME（最大熵模型）其实是一样的。

同样是马尔科夫的三个基本问题。

问题1：给定观察序列O=O1,O2,…OT,以及模型  λ=(π, A, B),  如何计算P(O|λ)？

问题2：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列     S = q1,q2,…qT，使得S能够最为合理的解释观察序列O？即argmaxss∈Q|T|P(T,S|λ).

问题3：如何调整模型参数 λ=(π, A, B)  ,  使得P(O|λ)最大？

1. 对于第一个问题使用类似于Forward-Backward的过程来解决。

2. 对于第二个问题使用类似于Viterbi的算法来解决。

3. 对于第三个问题使用和ME模型训练相同的方法GIS来解决。

在建模的时候MEMM想优化的问题和ME很像。而在运用模型的时候和HMM很像。

[HMM MEMM CRF 区别 联系][HMM MEMM CRF _]

[HMM,MEMM,CRF模型的比较][HMM_MEMM_CRF]

[标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM][_ _ HMM MEMM]

[Link 1]: https://www.douban.com/link2/?url=http%3A%2F%2Fwww.douban.com%2Fnote%2F175164036%2F&type=note&pos=title
[HMM MEMM CRF _]: http://blog.csdn.net/xum2008/article/details/46969179
[HMM_MEMM_CRF]: http://blog.csdn.net/caohao2008/article/details/4242308
[_ _ HMM MEMM]: http://blog.csdn.net/xum2008/article/details/38147425