关键词提取--技术原理概览

r囧r小猫 2022-05-27 12:16 396阅读 0赞

## 关键词提取–技术原理概览 ##

### 文章目录 ###

*   *  关键词提取--技术原理概览
     *   *   *  一、TF-IDF
             *   *  TF > Term Frequency
                 *  IDF > Inverse Document Frequency
                 *  TF-IDF
                 *  TF-IDF提取关键词的原理
             *  二、TextRank
             *   *  PageRank
                 *  TextRank
                 *  TextRank算法描述
             *  三、RAKE
             *   *  Rapid Automatic Keywords Extraction
                 *  RAKE算法
                 *  与TextRank对比
             *  四、集成算法
             *   *  （TFIDF+TextRank+RAKE）->TFIDF
             *  五、存在的问题
             *   *  1. TF-IDF和TextRank

#### 一、TF-IDF ####

##### TF > Term Frequency #####

*  TF = 某个词在文章中出现的次数
 *  “词频”标准化-1

T F = 某 个 词 在 文 章 中 出 现 的 次 数 文 章 的 总 词 数 TF = \\frac \{某个词在文章中出现的次数\}\{文章的总词数\} TF=文章的总词数某个词在文章中出现的次数

*  “词频”标准化-2

T F = 某 个 词 在 文 章 中 出 现 的 次 数 M a x \{ 文 章 中 词 的 出 现 次 数 \} TF = \\frac \{某个词在文章中出现的次数\}\{Max\\\{文章中词的出现次数\\\} \} TF=Max\{ 文章中词的出现次数\}某个词在文章中出现的次数

##### IDF > Inverse Document Frequency #####

*  IDF 逆文档频率

I D F = l o g ( 语 料 库 的 文 档 总 数 包 含 该 词 的 文 档 数 + 1 ) IDF = log( \\frac\{语料库的文档总数\}\{包含该词的文档数+1\} ) IDF=log(包含该词的文档数\+1语料库的文档总数)

##### TF-IDF #####

T F − I D F = 词 频 × 逆 文 档 频 率 = T F × I D F TF-IDF = 词频 \\times 逆文档频率 = TF \\times IDF TF−IDF=词频×逆文档频率=TF×IDF

TF-IDF与词频成正比，与该词在所有文档中出现的次数成反比。

##### TF-IDF提取关键词的原理 #####

词的TF-IDF值越大，则说明该词为关键词。

#### 二、TextRank ####

##### PageRank #####

*  Idea1  
    一个网页被越多的其他网页链接到，则该网页越重要，即该网页的权值越大；
 *  Idea2  
    一个网页被越重要（权值大）的网页链接到，则该网页越重要；

##### TextRank #####

*  Idea1  
    一个词与越多的其他词共现，则该词越重要，即该词的权值越大；
 *  Idea2  
    一个词与越重要（权值越大）的词共现，则该词越重要；

注意：这里共现实在设定的固定长度K的窗口内共同出现，其中，K表示窗口中包含K个词。

TextRank 一般模型可以表示为一个有向有权图 G =(V, E), 由点集合 V和边集合 E 组成, E 是V ×V的子集，节点为单个的词。图中任两点 Vi , Vj 之间边的权重为 wji , 对于一个给定的点 Vi, In(Vi) 为 指 向 该 点 的 点 集 合 , Out(Vi) 为点 Vi 指向的点集合。点 Vi 的得分定义如下:

![TextRank公式][TextRank]

其中，d为阻尼系数， I n ( V i ) In(V\_i) In(Vi) 表示所有与 V i V\_i Vi共现的词的集合， ∣ O u t ( V j ) ∣ |Out(V\_j)| ∣Out(Vj)∣ 表示所有与 V j V\_j Vj共现的词的集合， w j k w\_\{jk\} wjk表示节点j指向k的边的权重，同理， w j i w\_\{ji\} wji； W S ( V j ) WS(V\_j) WS(Vj)表示节点 V j V\_j Vj的得分。

> 注意：设置阻尼系数的目的:  
> 有些词不与其他词共现，所以无法统计；阻尼系数可以设置默认的得分值，即 W S ( V i ) = 1 − d WS(V\_i)=1-d WS(Vi)=1−d。

*  权重 w j k w\_\{jk\} wjk计算举例

> 现在将每个单词作为图中的一个节点，同一个窗口中的任意两个单词对应的节点之间存在着一条边。然后利用投票的原理，将边看成是单词之间的互相投票，经过不断迭代，每个单词的得票数都会趋于稳定。一个单词的得票数越多，就认为这个单词越重要。

> 例如要从下面的文本中提取关键词：

> 程序员(英文Programmer)是从事程序开发、维护的专业人员。一般将程序员分为程序设计人员和程序编码人员，但两者的界限并不非常清楚，特别是在中国。软件从业人员分为初级程序员、高级程序员、系统分析员和项目经理四大类。

> 对这句话分词，去掉里面的停用词，然后保留词性为名词、动词、形容词、副词的单词。得出实际有用的词语：

> 程序员, 英文, 程序, 开发, 维护, 专业, 人员, 程序员, 分为, 程序, 设计, 人员, 程序, 编码, 人员, 界限, 特别, 中国, 软件, 人员, 分为, 程序员, 高级, 程序员, 系统, 分析员, 项目, 经理

> 现在建立一个大小为 9 的窗口，即相当于每个单词要将票投给它身前身后距离 5 以内的单词：

> 开发=\[专业, 程序员, 维护, 英文, 程序, 人员\]  
> 软件=\[程序员, 分为, 界限, 高级, 中国, 特别, 人员\]  
> 程序员=\[开发, 软件, 分析员, 维护, 系统, 项目, 经理, 分为, 英文, 程序, 专业, 设计, 高级, 人员, 中国\]  
> 分析员=\[程序员, 系统, 项目, 经理, 高级\]  
> 维护=\[专业, 开发, 程序员, 分为, 英文, 程序, 人员\]  
> 系统=\[程序员, 分析员, 项目, 经理, 分为, 高级\]  
> 项目=\[程序员, 分析员, 系统, 经理, 高级\]  
> 经理=\[程序员, 分析员, 系统, 项目\]  
> 分为=\[专业, 软件, 设计, 程序员, 维护, 系统, 高级, 程序, 中国, 特别, 人员\]  
> 英文=\[专业, 开发, 程序员, 维护, 程序\]  
> 程序=\[专业, 开发, 设计, 程序员, 编码, 维护, 界限, 分为, 英文, 特别, 人员\]  
> 特别=\[软件, 编码, 分为, 界限, 程序, 中国, 人员\]  
> 专业=\[开发, 程序员, 维护, 分为, 英文, 程序, 人员\]  
> 设计=\[程序员, 编码, 分为, 程序, 人员\]  
> 编码=\[设计, 界限, 程序, 中国, 特别, 人员\]  
> 界限=\[软件, 编码, 程序, 中国, 特别, 人员\]  
> 高级=\[程序员, 软件, 分析员, 系统, 项目, 分为, 人员\]  
> 中国=\[程序员, 软件, 编码, 分为, 界限, 特别, 人员\]  
> 人员=\[开发, 程序员, 软件, 维护, 分为, 程序, 特别, 专业, 设计, 编码, 界限, 高级, 中国\]  
> 然后开始迭代投票，直至收敛：

> 程序员=1.9249977,  
> 人员=1.6290349,  
> 分为=1.4027836,  
> 程序=1.4025855,  
> 高级=0.9747374,  
> 软件=0.93525416,  
> 中国=0.93414587,  
> 特别=0.93352026,  
> 维护=0.9321688,  
> 专业=0.9321688,  
> 系统=0.885048,  
> 编码=0.82671607,  
> 界限=0.82206935,  
> 开发=0.82074183,  
> 分析员=0.77101076,  
> 项目=0.77101076,  
> 英文=0.7098714,  
> 设计=0.6992446,  
> 经理=0.64640945

> 可以看到“程序员”的得票数最多，因而它是整段文本最重要的单词。我们将文本中得票数多的若干单词作为该段文本的关键词，若多个关键词相邻，这些关键词还可以构成关键短语。

##### TextRank算法描述 #####

*  （1）把给定的文本T按照完整句子进行分割，即 T = \[ S 1 , S 2 , . . . , S m \] T=\[S\_1, S\_2, ... ,S\_m\] T=\[S1,S2,...,Sm\]；
 *  （2）对于每个句子 S i ∈ T S\_i \\in T Si∈T，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，即 S i = \[ t i , 1 , t i , 1 , . . . , t i , n \] S\_i = \[t\_\{i, 1\}, t\_\{i, 1\}, ... ,t\_\{i, n\}\] Si=\[ti,1,ti,1,...,ti,n\]，其中 T i , j T\_\{i,j\} Ti,j是保留后的候选关键词；
 *  （3）构建候选关键词图G = (V,E)，其中V为节点集，由（2）生成的候选关键词组成，然后采用共现关系（co-occurrence）构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现，K表示窗口大小，即最多共现K个单词；
 *  （4）根据上面公式，迭代传播各节点的权重，直至收敛；
 *  （5）对节点权重进行倒序排序，从而得到最重要的T个单词，作为候选关键词；
 *  （6）由（5）得到最重要的T个单词，在原始文本中进行标记，若形成相邻词组，则组合成多词关键词。

#### 三、RAKE ####

##### Rapid Automatic Keywords Extraction #####

*  单词得分公式

W o r d S c o r e = W o r d D e g r e e ( w ) / W o r d F r e q u e n c y ( w ) WordScore = WordDegree(w) / WordFrequency(w) WordScore=WordDegree(w)/WordFrequency(w)  
其中，单词w的度来源于图模型，单词w每与一个单词共现在一个短语中，度就加1，考虑该单词本身；单词w的词频为该单词在文档中出现的总次数。

*  关键短语的抽取规则
    
     *  对于每个候选的关键短语，将其中每个单词的得分累加，得出候选的关键短语的得分；
     *  对候选的关键短语的得分进行降序排列；
     *  RAKE将候选短语总数的前1/3作为抽取出的关键词（关键短语）；

##### RAKE算法 #####

*  Idea1  
    TextRank认为，一个词的重要性由链向它的其他词的重要性来决定。
 *  Idea2  
    将短语中的每个单词的共现关系考虑进去；  
    当与一个单词共现的词语越多，即单词的共现关系越多，则该词的度就越大；
 *  算法步骤
    
    1.  根据标点符号（如半角的句号、问号、感叹号、逗号等）将一篇文档分成若干分句；
    2.  对于每一个分句，使用停用词作为分隔符将分句分为若干短语，这些短语作为最终提取出的关键词的候选词；
    3.  统计单词的词频，统计单词的度，计算分句的得分；
    4.  对候选的关键短语的得分进行降序排列；
    5.  RAKE将候选短语总数的前1/3作为抽取出的关键短语；

##### 与TextRank对比 #####

*  Difference1  
    TextRank考虑固定窗口大小k中词语的共现关系；  
    RAKE考虑句子中词语的共现关系，“窗口”大小不一；
 *  Difference2  
    TextRank先分词，再计算单词的共现关系；  
    RAKE先分句，再分词，计算单词在句子中的共现关系；
 *  Difference2  
    TextRank提取出关键词，即单个词；  
    RAKE提取出关键分句，即由多个词组成的分句；

#### 四、集成算法 ####

##### （TFIDF+TextRank+RAKE）->TFIDF #####

*  Idea1  
    使用多个关键词提取模型提取出多个关键词，将这些关键词作为候选词，再次进行关键词抽取；  
    先粗抽取，再细抽取；

#### 五、存在的问题 ####

##### 1. TF-IDF和TextRank #####

传统的方法如TFIDF仅依靠候选关键词在文档中的统计性质进行排序，而TextRank虽然在一定程度上考虑了文档中词与词之间的关系，但仍然倾向于选择文档中出现较为频繁的词作为关键词。而文档的关键词与文档往往存在一定的词汇差异现象，主要表现在两个方面：

1.  很多关键词在文档中的统计特性并不显著，也就是说文档的某些关键词本身并不一定在文档中频繁出现。
2.  在某些情况下，如文档较短的时候，一些关键词甚至并不出现在文档中。

[TextRank]: /images/20220527/eaf2b504c30044c48bcebd3faea940ee.png