NLP-文本处理：实体消歧/词义消歧（Entity Disambiguiation / Word Sense Disambiguation）

- 日理万妓 2023-10-04 10:07 11阅读 0赞

## 一、简单方法 ##

### 1、提前构建好实体库（描述库） ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]

### 2、将文本转为向量 ###

将含有待消歧实体的文本句子  A A A (实体前后各取10~20个单词)，实体库中该实体的各种描述的句子（ A 1 , A 2 , . . . A\_1,A\_2,... A1,A2,...）都转为向量，然后通过余弦相似度计算  c o s ( A , A 1 ) , c o s ( A , A 2 ) , . . . cos(A,A\_1),cos(A,A\_2),... cos(A,A1),cos(A,A2),...，最后选择相似度最大的实体解释。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 1]

## 二、基于文本上下文的word2vec方法 ##

利用Bert预训练模型，直接将实体转为词向量，水果类的苹果与手机类的苹果通过Bert转为词向量后是不一样的。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/2021040610032217.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20210406101310113.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center