【论文阅读】Hierarchical Graph Network for Multi-hop Question Answering

向右看齐 2022-10-19 04:09 171阅读 0赞

Hierarchical Graph Network for Multi-hop Question Answering

论文：https://arxiv.org/abs/1911.03631

代码：https://github.com/yuwfan/HGN

任务

​ 提出了用于多跳问题回答的 Hierarchical Graph Network（HGN）。为了将分散在多个段落的文本中的线索汇总起来，通过构建不同粒度级别的节点（问题、段落、句子和实体）来创建一个层次图。将异质节点被编织成一个完整的图，不同颗粒度的节点被用于不同的子任务（例如，段落选择、支持事实提取和答案预测）。

方法（模型）

​ 为了将分散在多个段落的文本中的线索汇总起来，通过构建不同粒度级别的节点（即问题、段落、句子和实体）来创建一个hierarchical graph，这些节点的表示是由基于BERT的上下文编码器初始化的。

Hierarchical Graph Network

四个主要的组件：

  • Graph Construction Module

    构建层次图以连接不同来源的线索。

    构建步骤

    • 识别相关的多跳段
    • 添加代表所选段落内句子和实体之间联系的边

  • Context Encoding Module

    通过基于BERT的编码器获得图形节点的初始表示。

    将所选段落和问题串联后输入到BERT预训练模型。

  • Graph Reasoning Module

    应用基于图形注意力的消息传递算法来共同更新节点表示。

    GAT(Graph Attention Network)，将节点作为输入，GAT通过邻居 N i N_i Ni​更新节点的特征表示 h i ′ h_i^{‘} hi′​。
    h i ′ = σ ( ∑ j ∈ N i a i j W h j ) h_i^{‘}= σ(\sum_{j \in N_i}a_{ij}Wh_j) hi′​=σ(j∈Ni​∑​aij​Whj​)
    σ(·)表示激活函数， α i j α_{ij} αij​为注意力系数。

  • Multi-task Prediction Module

    同时执行多个子任务，包括段落选择、支持事实预测、实体预测和答案跨度提取。

    段落选择基于段落节点，支持事实预测基于句子节点，答案预测基于实体节点。

模型结构：

image-20210521175510269

支持事实预测过程：

image-20210521222206209

左侧问题：Q → P1 → S4 → P2 → S7

右侧问题：Q → P1 → S1 → S2 → P2 → S3

数据集

HotpotQA Distractor and Fullwiki setting

性能水平 & 结论

性能水平：

image-20210521192345886

HGN方法在Distractor和Fullwiki设置中都取得了领先的性能水平。

发表评论

表情：
评论列表 （有 0 条评论，171人围观）

还没有评论，来说两句吧...

相关阅读