【论文阅读】Hierarchical Graph Network for Multi-hop Question Answering

向右看齐 2022-10-19 04:09 42阅读 0赞

# Hierarchical Graph Network for Multi-hop Question Answering #

> [论文：https://arxiv.org/abs/1911.03631][https_arxiv.org_abs_1911.03631]
> 
> [代码：https://github.com/yuwfan/HGN][https_github.com_yuwfan_HGN]

## 任务 ##

提出了用于多跳问题回答的 Hierarchical Graph Network（HGN）。为了将分散在多个段落的文本中的线索汇总起来，通过构建不同粒度级别的节点（问题、段落、句子和实体）来创建一个层次图。将异质节点被编织成一个完整的图，不同颗粒度的节点被用于不同的子任务（例如，段落选择、支持事实提取和答案预测）。

## 方法（模型） ##

为了将分散在多个段落的文本中的线索汇总起来，通过构建不同粒度级别的节点（即问题、段落、句子和实体）来创建一个hierarchical graph，这些节点的表示是由基于BERT的上下文编码器初始化的。

### Hierarchical Graph Network ###

四个主要的组件：

*  Graph Construction Module
    
    > 构建层次图以连接不同来源的线索。
    
    构建步骤
    
     *  识别相关的多跳段
     *  添加代表所选段落内句子和实体之间联系的边
 *  Context Encoding Module
    
    > 通过基于BERT的编码器获得图形节点的初始表示。
    
    将所选段落和问题串联后输入到BERT预训练模型。
 *  Graph Reasoning Module
    
    > 应用基于图形注意力的消息传递算法来共同更新节点表示。
    
    GAT(Graph Attention Network)，将节点作为输入，GAT通过邻居 N i N\_i Ni更新节点的特征表示 h i ′ h\_i^\{'\} hi′。  
     h i ′ = σ ( ∑ j ∈ N i a i j W h j ) h\_i^\{'\}= σ(\\sum\_\{j \\in N\_i\}a\_\{ij\}Wh\_j) hi′=σ(j∈Ni∑aijWhj)  
    σ(·)表示激活函数， α i j α\_\{ij\} αij为注意力系数。
 *  Multi-task Prediction Module
    
    > 同时执行多个子任务，包括段落选择、支持事实预测、实体预测和答案跨度提取。
    
    段落选择基于段落节点，支持事实预测基于句子节点，答案预测基于实体节点。

模型结构：

![image-20210521175510269][]

支持事实预测过程：

![image-20210521222206209][]

左侧问题：Q → P1 → S4 → P2 → S7

右侧问题：Q → P1 → S1 → S2 → P2 → S3

## 数据集 ##

HotpotQA Distractor and Fullwiki setting

## 性能水平 & 结论 ##

性能水平：

![image-20210521192345886][]

HGN方法在Distractor和Fullwiki设置中都取得了领先的性能水平。

[https_arxiv.org_abs_1911.03631]: https://arxiv.org/abs/1911.03631
[https_github.com_yuwfan_HGN]: https://github.com/yuwfan/HGN
[image-20210521175510269]: /images/20221005/4d42c793f2f44c6aa655495ca762a6a4.png
[image-20210521222206209]: /images/20221005/9af8f2d5bf514392b785eb61b87c4ee1.png
[image-20210521192345886]: /images/20221005/acb90d8c66684d4d9d2e1b3fb1eeaf0b.png