Incorporating Lexical Priors into Topic Models(即交互式主题模型的应用)论文阅读

冷不防 2022-02-26 14:55 183阅读 0赞

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。  
**未经本人允许禁止转载**。

### 文章目录 ###

*  论文来源
 *  应用场景及模型
 *   *  第一个模型
     *  第二个模型
     *  第三个模型
 *  模型应用

# 论文来源 #

论文来自于自然语言处理会议ACL  
Jagarlamudi J, Daumé III H, Udupa R. Incorporating lexical priors into topic models\[C\]//Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics. Association for Computational Linguistics, 2012: 204-213.

这篇论文中，提供了三个模型，都是交互式主题模型，该篇论文的模型在一些管理学顶级期刊上的论文中，皆有看到。例如：  
Puranam D, Narayan V, Kadiyali V. The effect of calorie posting regulation on consumer opinion: a flexible Latent Dirichlet Allocation model with informative priors\[J\]. **Marketing Science**, 2017, 36(5): 726-746.

Toubia O, Iyengar G, Bunnell R, et al. Extracting Features of Entertainment Products: A Guided Latent Dirichlet Allocation Approach Informed by the Psychology of Media Consumption\[J\]**. Journal of Marketing Research**, 2018: 0022243718820559.

# 应用场景及模型 #

交互式主题模型，个人认为只适应于科研领域，对于工业领域肯定不行。原因是其需要用户提供一些内容，例如种子词汇。但对于科研来说，其优势很大，主要是其可以使获得的主题更具意义，更有说明性(这对论文的创新点很有帮助)。

## 第一个模型 ##

在作者的论文中，一共提供了三个模型。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center]  
这是第一个模型，其可以对每个主题的词汇初始化，即设置一些词汇(主要针对的是主题词分布)。模型的生成过程较为简单，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 1]  
在这里需要注意的是，主题模型产生的主题数目并不是 2 T 2T 2T，而还是 T T T个主题。即下图标红的地方最后还是要合并的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 2]  
合并公式如下：  
![在这里插入图片描述][20190330110745223.png_pic_center]

## 第二个模型 ##

第二个模型，针对的是文档的主题分布。模型如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 3]  
其生成过程如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 4]  
这里一个非常重要的点，是引入了group的概念。

## 第三个模型 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 5]  
作者的第三个模型是前两个模型的结合体。

# 模型应用 #

该模型，在18年被应用到管理学顶刊上，如下：  
Toubia O, Iyengar G, Bunnell R, et al. Extracting Features of Entertainment Products: A Guided Latent Dirichlet Allocation Approach Informed by the Psychology of Media Consumption\[J\]**. Journal of Marketing Research**, 2018: 0022243718820559.  
其主要动机如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 6]  
即利用第一个模型，生成娱乐产品的主题词分布。在应用模型的过程中，作者使用了心理学的内容，即主题和种子词汇来源与正向心理学划分。使用该模型，可以得到每个电影的主题分布，之后作者利用这个主题分布，来作为content-based/hybrid方法的输入。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20220226/0becebed01754546bb4adbcfb04e401c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220226/c12b7510f60a4d37b6126d05a0b9d9e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220226/e8acbc0a7e5d478ab6edae1a837d7d58.png
[20190330110745223.png_pic_center]: /images/20220226/2d8383216b1f41c89bc7c65724d0a44b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220226/d1412f2a037347299bd115ae48aa845b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20220226/4e11a5d295f04a019708a85658971b3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20220226/ea83754258b4472baf30e5dc3c16b1b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20220226/9f3dc80541024da495bc8345724371d5.png