SRLGRN

论文：EMNLP2020-Semantic Role Labeling Graph Reasoning Network

语义角色标注图推理网络

任务

提出了一个基于句子语义结构的图推理网络来学习跨段落推理路径，并联合寻找支持事实和答案。

方法（模型）

SRLGRN

该框架在构建推理图网络时会考虑句子的语义结构。不仅利用节点的语义角色，而且会利用边缘的语义。

训练一个段落选择模块来检索gold documents并最小化干扰因素。
构建了一个异类文档级图，其中包含以句子为节点以及SRL子图，其中SRL子图包括语义角色标签参数作为节点，谓词作为边。
训练图编码器来获得图节点表示，该图节点表示在学习的表示中结合了参数类型和谓词边的语义。
最后，共同训练一个multi-hop supporting fact prediction module和answer prediction module。

multi-hop supporting fact prediction module可以找到跨段落推理路径，answer prediction module可以得到最终答案。

based on contextual semantics graph representations as well as token-level BERT pre-trained representations.

模型结构：

SRLGRN由段落选择，图形构造，图形编码器，支持事实预测和答案跨度预测模块组成。

Paragraph Selection

based on the pre-trained BERT model

两轮解释：

First Round Paragraph Selection

input: Q 1 Q_1 Q1
Q 1 = [ [ C L S ] ; q ; [ S E P ] ; C ] Q_1= [[CLS]; q; [SEP]; C] Q1=[[CLS];q;[SEP];C]

q: question

C: paragraph content

C = { t , s 1 , . . . , s n } C = \{t, s_1, . . . , s_n\} C={ t,s1,…,sn}

t: title

s n s_n sn: sentences

将 Q 1 Q_1 Q1输入到预训练的BERT编码器以获得token表示。
使用 B E R T [ C L S ] BERT_{[CLS]} BERT[CLS]作为该段的摘要表示。
利用两层MLP输出相关性得分。
选择获得最高相关性得分的段落作为第一相关上下文。
将 q q q连接到所选段落作为 q n e w q_{new} qnew，以进行下一轮段落选择。

Second Round Paragraph Selection

对于剩余的N-1个候选段落，使用与第一轮段落选择相同的模型来生成相关性得分，该相关性得分以 q n e w q_{new} qnew和段落内容为输入。
将问题和两个选定的段落连接起来，形成一个新的上下文，用作图形构造的输入文本。

Heterogeneous SRL Graph Construction

每个数据实例构建一个包含document-level子图 S S S和argument- predicate SRL 子图 A r g Arg Arg的异构图。

S S S

includes question q, title t 1 t_1 t1and sentences s 1 1 , . . . , n s_1^{1,…,n} s11,…,n from first round se- lected paragraph.and title t 2 t_2 t2and sentences s 2 1 , . . . , n s_2^{1,…,n} s21,…,n from the second round selected paragraph.

A r g Arg Arg

包含使用AllenNLP-SRL模型生成的参数作为节点，谓词作为边。

q , t 1 , s 1 1 , . . . , s n 1 , t 2 , s 1 2 , . . . , s n 2 ∈ S . {q, t_1, s_1 1, . . . , s_n 1, t_2, s_1 2, . . . , sn_ 2} ∈ S. q,t1,s11,…,sn1,t2,s12,…,sn2∈S.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PmTg9Ngk-1629968857104)(/Users/maqi/Library/Application Support/typora-user-images/image-20201230214154969.png)]

异构图的边添加规则：

如果在该句子中有一个argument，则该句子和argument之间将存在一条边（图3中的黑色虚线）
s i s_i si和 s s s两个句子，如果他们通过精确匹配共享一个参数，则存在一条边（红色虚线）
两个argument节点 A r g i Arg_i Argi 和 A r g j Arg_j Argj之间存在谓词，则存在一条边（黑色实线）
如果它们共享一个argument，则问题和句子之间会有一条边（红色虚线）

建立了一个基于谓词的语义边缘矩阵 K K K和一个异构边缘权重矩阵 A A A。

语义边缘矩阵 K K K是一个存储谓词单词索引的矩阵。

异构边缘权重矩阵 A A A是存储不同类型边权重的矩阵。

Supporting Fact Prediction

G S G_S GS: graph sentence embedding(蓝色圆圈)。
BERT’s [CLS] token representation：橙色圆圈。
X S c a n d X_S^{cand} XScand: 候选句子。
S c a n d S_{cand} Scand:候选句子的相邻句子。

X S c a n d = [ G S c a n d ; B E R T [ C L S ] ( q , S c a n d ) ] X_S^{cand} = [G_S^{cand} ; BERT[CLS](q, S_{cand})] XScand=[GScand;BERT[CLS](q,Scand)]

数据集

HotpotQA

性能水平

EM：完全匹配

F1：部分匹配

在Distractor setting下的测试结果：

该模型在Joint上获得了39.41％的完全精确匹配分数和66.37％的部分匹配分数,远超基线模型，相比其他模型也有明显的提升。这得益于token-level BERT和graph-level SRL node的结合。

结论

Ablation study

Graph:

删除整个SRL图。

与完整的SRLGRN模型相比，在F1评分上下降了8.46％。如果删除SRL图，而仅使用BERT进行答案预测，则该模型将失去用于多跳推理的连接。
从SRL图中删除了基于谓词的边缘信息。

如果不合并语义边缘信息和参数类型，则答案跨度预测的F1分数降低2.9％。删除谓词边和参数类型将破坏SRL图中的参数-谓词关系，并打破推理链。

Joint:

如果不共同训练模型，性能将下降4.56％。

Language Models：

尽管BERT获得了相对更好的性能，但ALBERT架构的参数少18X，并且比BERT更快。