Sentence-LDA的介绍及程序

梦里梦外; 2022-06-10 10:22 145阅读 0赞

Sentence-LDA的相关论文：

Jo Y, Oh A H. Aspect and sentiment unification model for online review analysis\[C\]//Proceedings of the fourth ACM international conference on Web search and data mining. **ACM**, 2011: 815-824.

模型是这个样子的：  
![这里写图片描述][SouthEast]

Zhang S, Sha Y, Wang X. Reviews Analysis Based on Sentence and Word Relevance\[C\]//Computational Intelligence and Design (ISCID), 2014 Seventh International Symposium on. IEEE, 2014, 1: 43-46.  
模型是这个样子的：  
![这里写图片描述][SouthEast 1]

Balikas G, Amini M R, Clausel M. On a Topic Model for Sentences\[C\]//Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. **ACM**, 2016: 921-924.  
模型是这个样子的：  
![这里写图片描述][SouthEast 2]  
Büschken J, Allenby G M. Sentence-based text analysis for customer reviews\[J\]. **Marketing Science**, 2016, 35(6): 953-975.  
模型是这个样子的：  
![这里写图片描述][SouthEast 3]

这几篇论文，是我看到的做Sentence-LDA，发现模型都是一样。。。。。哎，他们提出的模型，尽然都是一样的。

# Sentence-LDA的思想 #

LDA的思想是每篇文档是由多个主题混合而成的，每个单词有其对应的主题。但针对短文本而言，每句话可能表达的仅仅是一个主题，Sentence-LDA的假设便是文档中的一个句子来自于一个主题。

![这里写图片描述][SouthEast 4]  
  
其生成过程如下：

![这里写图片描述][SouthEast 5]

基于上面的图，我解释一下，一篇文档多多个句子，**每个句子的所有词**均有**一个主题z生成**。

# Gibbs抽样推断 #

## 主题z的抽样 ##

![这里写图片描述][SouthEast 6]

这里需要注意的是i表示第i个句子，可以看出这里抽的是句子的主题。而传统LDA里抽的是词的主题。![这里写图片描述][SouthEast 7]表示文档d的句子中，分配到主题k的数量。![这里写图片描述][SouthEast 8]表示分配单词w被分配到主题k的数量。

具体该公式的推理，可以看**Sentence-based text analysis for customer reviews**论文的附录。

## 文档的主题分布计算 ##

![这里写图片描述][SouthEast 9]

## 主题的词分布计算 ##

![这里写图片描述][SouthEast 10]

# 代码 #

是由16年，On a topic model for sentences这篇文章的作者提供的，为python版本，具体地址为：[https://github.com/balikasg/topicModelling/][https_github.com_balikasg_topicModelling]

[SouthEast]: /images/20220610/659df1b706c9413abc90236200821b9b.png
[SouthEast 1]: /images/20220610/562f602c04f84b7eae38cffe1ca3be66.png
[SouthEast 2]: /images/20220610/27e04c5996b44f8280186cabaf444f1f.png
[SouthEast 3]: /images/20220610/a62ba1aaf0074439a57d042ef756c3cf.png
[SouthEast 4]: /images/20220610/4b89857d7d464467b09169628ad3cceb.png
[SouthEast 5]: /images/20220610/5464796f45cd4df2b8622a0820c24e28.png
[SouthEast 6]: /images/20220610/ea3c8672e9b34064a4feefc61c5e3538.png
[SouthEast 7]: https://img-blog.csdn.net/20170816202758303?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[SouthEast 8]: /images/20220610/20a1e66c90f04c52b5e9daa4f7c86fad.png
[SouthEast 9]: /images/20220610/709a86f2b2fb45cfbf3e9fb46b32eff0.png
[SouthEast 10]: /images/20220610/bfe1f69622ed4768ad6310b268820fac.png
[https_github.com_balikasg_topicModelling]: https://github.com/balikasg/topicModelling/