【论文阅读】Multi-Hop Paragraph Retrieval for Open-Domain Question Answering

一时失言乱红尘 2022-10-19 12:52 31阅读 0赞

# Multi-Hop Paragraph Retrieval for Open-Domain Question Answering #

> [论文：https://arxiv.org/abs/1906.06606][https_arxiv.org_abs_1906.06606]
> 
> [代码：https://github.com/yairf11/MUPPET][https_github.com_yairf11_MUPPET]

## 任务 ##

多跳开放域问题回答(QA)任务，需要同时进行文本推理和高效搜索。本文提出了一种检索多个支持段落的方法，这些段落嵌套在一个庞大的，包含回答一个给定问题的必要证据的知识库中。

## 方法（模型） ##

本文提出的方法通过形成一个问题和段落的联合向量表示来反复检索支持性段落。检索是通过考虑知识源中段落的上下文句子层面的表示来进行的。

*  **任务定义：**

( K S , Q , A ) (KS, Q, A) (KS,Q,A)

Background knowledge source： K S = P 1 , P 2 , . . . , P ∣ K S ∣ KS = \{P\_1, P\_2, . . . , P\_\{|KS|\}\} KS=P1,P2,...,P∣KS∣

由 l i l\_i li 个tokens组成的文本段落： P i = ( p 1 , p 2 , . . . , p l i ) P\_i = (p\_1, p\_2, . . . , p\_\{l\_i\}) Pi=(p1,p2,...,pli)

m个tokens组成的段落： Q = ( q 1 , q 2 , . . . , q m ) Q = (q\_1, q\_2, . . . , q\_m) Q=(q1,q2,...,qm)

n个tokens组成的答案： A = ( a 1 , a 2 , . . . , a n ) A = (a\_1, a\_2, . . . , a\_n) A=(a1,a2,...,an)

*  **目标：**

使用背景知识源KS找到对问题Q的答案A。

A = φ ( Q , K S ) A = φ(Q, KS) A=φ(Q,KS)

*  **方法：**

**MUPPET (multi-hop paragraph retrieval)**

两个组件

> paragraph and question encoder
> 
>  *  段落编码不依赖于问题。
> 
> paragraph reader

使用MIPS(maximum inner product search)算法检索最有可能包含答案的段落，然后将的段落传递给阅读器模块，提取问题最有可能的答案。

支持多跳检索：

对于问题 Q Q Q，编码为 q q q，转换成搜索空间向量 q s q^s qs，用来检索（使用MIPS算法）top-k相关段落 P 1 Q , P 2 Q , . . . , P k Q ⊂ K S \{P^Q\_ 1, P^Q \_2, . . . , P^Q\_ k\} ⊂ KS P1Q,P2Q,...,PkQ⊂KS，从检索段落中重构搜索向量， \{ q ~ 1 s , q ~ 2 s , . . . , q ~ k s \} \\\{\\tilde q^s\_ 1, \\tilde q^s\_ 2, . . . , \\tilde q^s\_ k\\\} \{ q~1s,q~2s,...,q~ks\}，再执行一遍检索过程，可检索出下一个top-k相关段落。

模型结构：

![image-20210506144811702][]

### Paragraph and Question Encoder ###

段落P由k个段落组成

P = ( s 1 , s 2 , . . . , s k ) P=(s\_1, s\_2, . . . , s\_k) P=(s1,s2,...,sk)

每个段落由 l l l个tokens组成

s i = ( t i 1 , t i 2 , . . . , t i l ) s\_i=(t\_\{i\_1\}, t\_\{i\_2\}, . . . , t\_\{i\_l\}) si=(ti1,ti2,...,til)

>  l l l：句子长度

编码：  
 ( s 1 , s 2 , . . . , s k ) = f ( P ) (s\_1, s\_2, . . . , s\_k)= f(P) (s1,s2,...,sk)=f(P)

q = f ( Q ) q = f(Q) q=f(Q)

### Word Embedding ###

t w t^w tw：word-level embedding 通过预训练的Word Embedding获得。

t c t^c tc：character-level embedding

token t 有 l t l\_t lt个字符 ( t 1 c , t 2 c , . . . , t l t c ) (t\_\{1\}^c, t\_\{2\}^c, . . . , t\_\{l\_t\}^c) (t1c,t2c,...,tltc)  
 t c = m a x ( C N N ( t 1 c , t 2 c , . . . , t l t c ) ) t^c= max(CNN(t\_\{1\}^c, t\_\{2\}^c, . . . , t\_\{l\_t\}^c)) tc=max(CNN(t1c,t2c,...,tltc))  
连接两种嵌入形式：  
 t = \[ t w ; t c \] t = \[t^w; t^c\] t=\[tw;tc\]

### Recurrent Layer ###

获得word representations之后，通过BiGRU获得 contextualized word representations。  
 ( c 1 , c 2 , . . . , c m ) = B i G R U ( t 1 , t 2 , . . . , t m ) (c\_1, c\_2, . . . , c\_m) = BiGRU(t\_1, t\_2, . . . , t\_m) (c1,c2,...,cm)=BiGRU(t1,t2,...,tm)

### Sentence-wise max-pooling ###

使用max-pooling获得sentence representations。  
 s i = m a x ( c i 1 , c i 2 , . . . , c i l ) s\_i=max(c\_\{i\_1\}, c\_\{i\_2\}, . . . , c\_\{i\_l\}) si=max(ci1,ci2,...,cil)

### Reformulation Component ###

使用recurrent layers初始化问题Q和段落P的编码。

( c 1 q , c 2 q , . . . , c n q q ) (c^q\_ 1, c^q\_ 2, . . . , c^q\_\{ n\_q\}) (c1q,c2q,...,cnqq)

( c 1 p , c 2 p , . . . , c n p p ) (c^p\_ 1, c^p\_ 2, . . . , c^p\_\{ n\_p\}) (c1p,c2p,...,cnpp)

传递给bidirectional attention layer。使用ReLU作为激活函数。最终得到reformulated question representation,  q ~ \\tilde q q~

Reformulation Component图示：

![image-20210506145716584][]

Sentence Encoder 图示：

![image-20210506145106251][]

### Paragraph Reader ###

段落阅读器接输入为问题Q和段落P，并从P中提取最可能的答案跨度。

## 数据集 ##

*  HotpotQA
 *  SQuAD-Open

## 性能水平和结论 ##

*  HotpotQA数据集：

![image-20210507110940732][]

在HotpotQA distractor setting下，Joint EM和F1评分提升最为显著，分别提升了17.12和13.22。

在HotpotQA full wiki setting下，MUPPET在段落级别编码时，性能要优于句子级编码。

*  SQuAD-Open数据集：

![image-20210507111825276][]

在SQuAD-Open数据集上，句子级别编码的MUPPET取得了最优的性能，表明本文提出的编码器不仅适用于多跳问题，还可以用于单跳问题。

结论：

本文提出的MUPPET，用于多跳段落检索在单跳和多跳QA数据集上都取得了不错的效果。

[https_arxiv.org_abs_1906.06606]: https://arxiv.org/abs/1906.06606
[https_github.com_yairf11_MUPPET]: https://github.com/yairf11/MUPPET
[image-20210506144811702]: /images/20221005/7eebadde694240089aaac2abc5e3c7c2.png
[image-20210506145716584]: /images/20221005/2419803c5b9246a8b0c44f4397efeb00.png
[image-20210506145106251]: /images/20221005/0962752103d246979ee1909486422599.png
[image-20210507110940732]: /images/20221005/a35fe391ba9a456d9442b828ef0f9476.png
[image-20210507111825276]: /images/20221005/b7c73ef60b1e47f68789aafc87b7c9e1.png