【论文阅读】Two Training Strategies for Improving Relation Extraction over Universal Graph

深藏阁楼爱情的钟 2022-10-29 15:28 144阅读 0赞

> [https://github.com/baodaiqin/UGDSRE][https_github.com_baodaiqin_UGDSRE]

![在这里插入图片描述][20210216091533289.png]  
模型分为四部分，KG编码器、句子证据编码器、路径证据编码器、关系分类层。

## KG Encoder ##

假设有一个KG包含事实三元组 O = \{ ( e 1 , r , e 2 ) , . . . \} O=\\\{(e\_1,r,e\_2),...\\\} O=\{ (e1,r,e2),...\}  
KG编码器将 e 1 , r , e 2 e\_1,r,e\_2 e1,r,e2分别映射到低维向量 h , t , r h,t,r h,t,r  
KG编码器采用TransE对给定的三元组打分。  
![在这里插入图片描述][2021021609250985.png]  
TransE使用公式1对三元组打分  
对于所有的事实三元组O，条件概率可以形式化为:  
![在这里插入图片描述][20210216092622418.png]

## Sentence Evidence Encoder ##

对于句子证据 S = \{ s 1 , . . . . . . , s n \} S=\\\{s\_1,......,s\_n\\\} S=\{ s1,......,sn\}，采用CNN-MAX对每个句子编码，推导出句子的表示法。  
编码器然后计算bag级别的向量表示。  
![在这里插入图片描述][20210216092906101.png]

## Path Evidence Encoder ##

给定连接目标实体对的UG路径 P r = \{ p 1 , . . . , p m \} P\_r=\\\{p\_1,...,p\_m\\\} Pr=\{ p1,...,pm\}  
路径证据编码器把他们编码bag级别的向量表示 p a l l p\_\{all\} pall  
因为我们将路径表示为单词序列，我们采用CNN-MAX对每个路径进行编码  
计算得出 p a l l p\_\{all\} pall  
![在这里插入图片描述][20210216093410997.png]

## Relation Classification Layer ##

![在这里插入图片描述][20210216093444620.png]  
![在这里插入图片描述][20210216093506514.png]  
 \[ o c \] \[o\_c\] \[oc\]是关系c的预测分数。  
给定包含三元组集合的 O = \{ ( e 1 , r , e 2 ) , . . . \} O=\\\{(e\_1,r,e\_2),...\\\} O=\{ (e1,r,e2),...\}，我们最小化目标函数。  
![在这里插入图片描述][20210216093718854.png]  
为了减少注意偏差的负面影响，充分利用UG路径，我们提出以下两种训练(或去偏)策略:  
路径类型自适应预训练和复杂性排名引导注意。

## Path Type Adaptive Pretraining ##

我们提出了一种路径型自适应预训练的去偏策略。在该策略中，我们使用文本路径、混合路径和KG路径作为路径证据，依次对基础模型进行预训练，然后使用所有类型的路径进行微调，如图所示。  
![在这里插入图片描述][2021021609501241.png]  
我们假设这种策略可以防止对单一UG路径的依赖，提高UG路径的处理能力。

## Complexity Ranking Guided Attention ##

我们假设，将注意力集中在复杂(简单)路径上可以迫使模型关注复杂(简单)路径，从而有效地利用它们。  
在此假设下，我们提出一种复杂性排序引导的注意机制，如图所示  
![在这里插入图片描述][20210216091533289.png]  
句子长度(即句子中token的数量)和词法丰富度(即token类型的数量)是评估句子复杂性的常用特征。  
因此，本文采用它们来计算给定路径的复杂度。  
我们把top j 条复杂路径和简单路径分别表示为复杂路径和简单路径的集合。  
集合的表示如下所示。  
![在这里插入图片描述][20210216095557826.png]  
将结果连接起来作为关系分类层的输入。  
![在这里插入图片描述][20210216095735672.png]  
是O  
![在这里插入图片描述][2021021609575387.png]

我们从文本中引入UG路径作为DS-RE任务的额外证据。  
为了充分利用丰富的UG路径，我们提出了两种训练(或去偏置)策略:  
路径类型自适应预训练和复杂性排名引导注意力机制。  
我们进行了生物医学和NYT10数据集。结果表明，这两种方法都能有效地利用UG路径的潜力来提高DS-RE的性能。

[https_github.com_baodaiqin_UGDSRE]: https://github.com/baodaiqin/%20UGDSRE
[20210216091533289.png]: /images/20221024/7e486502cf1f4564ac98ef877a0fa76c.png
[2021021609250985.png]: /images/20221024/9ff15922b47c446f8b920f8166265c03.png
[20210216092622418.png]: /images/20221024/7fd23719db484eb3bdedf969edd50dda.png
[20210216092906101.png]: /images/20221024/2c1d72aa50e74006b1ff7b9b09ec165f.png
[20210216093410997.png]: /images/20221024/f7f3f152f3a94c8b9c9eb87d7d1a45e5.png
[20210216093444620.png]: /images/20221024/34701704fde24f90a4924f6dc8a3b004.png
[20210216093506514.png]: /images/20221024/a771cbd993f74485afbff0b6264bd022.png
[20210216093718854.png]: /images/20221024/f8f601f162ca4344929f2cf9e847cb7c.png
[2021021609501241.png]: /images/20221024/b25253a44d2e4051b49a73b46a02d077.png
[20210216095557826.png]: /images/20221024/249b05516fab43238b8376c98bf97cc1.png
[20210216095735672.png]: /images/20221024/80d461b3376243238d696112069daedc.png
[2021021609575387.png]: /images/20221024/c287f7eaa4584d8a8cb9aca28145b7e9.png