(2020)End-to-end Neural Coreference Resolution论文笔记

怼烎@ 2021-08-29 17:07 517阅读 0赞

![在这里插入图片描述][20200522115004499.png]  
[paper: End-to-end Neural Coreference Resolution ][paper_ End-to-end Neural Coreference Resolution]

[code: https://github.com/kentonl/e2e-coref][code_ https_github.com_kentonl_e2e-coref]

# 文章目录： #

文章词语解释

Abstract

Introduction

Task

Model

整体算法流程

Experiments

--------------------

##### 文章词语解释 #####

*  [span等术语参考博客][span]

# Abstract #

*  **想法**：通过考虑文档中所有的span【**文本中的子串/短语**】以及学习每个`span`的可能的指代。
 *  **方法**：通过计算`span`本身`embedding`表示和`span`边界的头注意力机制
 *  **训练目标**：配合上剪枝，训练得到在共指簇中可能性最大的指代`span`
 *  实验表现：在ontonote5.0上F1提升1.5，集成5个的小技巧后，F1提升3.1

# Introduction #

*  解释了本文第一次使用了端到端的模型，这就意味着只需要考虑输入，通过模型即可得到输出，不需要像之前那样比如前面任务的分词，标注不到位影响模型效果
 *  再次提到模型核心是向量的embedding表示
 *  文档长度为L， 那么计算所有span的得分的复杂度就是L的四次方，不实际， 所以计算一元的mention【**文本中的指代**】得分，在mention 得分的基础上做剪枝，然后前值对得分的计算量就会减少很多

# Task #

*  假设对于某个文档表示为 D，文档中有 T 个word，文档中就有N个可能的`span` ( N = T ( T + 1 ) 2 N=\\frac\{T(T+1)\}\{2\} N=2T(T\+1))

*  对于某个`span`表示为 i ，它的头索引为START(i)，尾索引为END(i)，然后通过START(i)进行排序，如果START(i)相同，再比较END(i)进行排序。
 *  对于某个`span`表示为 i，它对应的前值为 y i y\_\{i\} yi， y i y\_\{i\} yi可以确定是`span` i的前面出现过的`span`或者没有前指(本身就没有/还没出现，在后面)，所以 y i y\_\{i\} yi 在集合  Y ( i ) = \{ ϵ , 1 , … , i − 1 \} \\mathcal\{Y\}(i)=\\\{\\epsilon, 1, \\ldots, i-1\\\} Y(i)=\{ ϵ,1,…,i−1\}内。
 *   ϵ \\epsilon ϵ 的两种可能情况：  
    (1) 某个`span`本身不是一个实体的`mention`【**指代**】  
    (2) `span`是实体的指代，但没和之前的`span`形成共指

# Model #

*  **目标**：使用条件概率分布，使得最有可能的共指簇概率最大：
    
     P ( y 1 , … , y N ∣ D ) = ∏ i = 1 N P ( y i ∣ D ) = ∏ i = 1 N exp ⁡ ( s ( i , y i ) ) ∑ y ′ ∈ Y ( i ) exp ⁡ ( s ( i , y ′ ) ) \\begin\{aligned\} P\\left(y\_\{1\}, \\ldots, y\_\{N\} | D\\right) &=\\prod\_\{i=1\}^\{N\} P\\left(y\_\{i\} | D\\right) \\\\ &=\\prod\_\{i=1\}^\{N\} \\frac\{\\exp \\left(s\\left(i, y\_\{i\}\\right)\\right)\}\{\\sum\_\{y^\{\\prime\} \\in \\mathcal\{Y\}(i)\} \\exp \\left(s\\left(i, y^\{\\prime\}\\right)\\right)\} \\end\{aligned\} P(y1,…,yN∣D)=i=1∏NP(yi∣D)=i=1∏N∑y′∈Y(i)exp(s(i,y′))exp(s(i,yi))
    
     *   s ( i , y ′ ) s\\left(i, y^\{\\prime\}\\right) s(i,y′)表示在某个文档中，`span`i 和`span` j 共指的得分
     *  计算 s ( i , y ′ ) s\\left(i, y^\{\\prime\}\\right) s(i,y′)：（1）`span` i 的得分 (2)`span` j 的得分 (3)span j 是 `span` i 的前指得分
     *  当span i 没有前指时， s ( i , y ′ ) s\\left(i, y^\{\\prime\}\\right) s(i,y′)的得分为0。 s ( i , j ) = \{ 0 j = ϵ s m ( i ) + s m ( j ) + s a ( i , j ) j ≠ ϵ s(i, j)=\\left\\\{\\begin\{array\}\{ll\} 0 & j=\\epsilon \\\\ s\_\{\\mathrm\{m\}\}(i)+s\_\{\\mathrm\{m\}\}(j)+s\_\{\\mathrm\{a\}\}(i, j) & j \\neq \\epsilon \\end\{array\}\\right. s(i,j)=\{ 0sm(i)\+sm(j)\+sa(i,j)j=ϵj=ϵ
 *  **如何得到span的embedding表示**(原论文是先讲计算得分，为了按顺序理解，进行了调换)
    
    作者认为，对于某个`span`，它的上下文背景的指代`span`和他的`span`本身结构十分重要，每个`span`的起始`word`【head word】用注意力机制，用双向`LSTM`表示`span`的内部和外部的信息。
    
    1.  假设输入word i ，对应输入向量表示  x i \\boldsymbol\{x\}\_\{i\} xi【i 对应的预训练的word embedding和经过charCNN得到的embedding拼接的得到的embedding】——> LSTM
    2.  送入bi-LSTM，提取bi-LSTM中两个隐藏层向量，拼接起来作为 i 的特征向量  x t ∗ x\_\{t\}^\{\*\} xt∗ 【包含  x S T A R T ( i ) ∗ x\_\{START(i)\}^\{\*\} xSTART(i)∗ |  x E N D ( i ) ∗ x\_\{END(i)\}^\{\*\} xEND(i)∗】——>注意力机制
    3.  对于 x i \\boldsymbol\{x\}\_\{i\} xi，使用注意力机制对word的重要单词进行学习，分配不同权重得到  x ^ i \\hat\{\\boldsymbol\{x\}\}\_\{i\} x^i ——>进行向量拼接
    4.   包含4部分：span的起始和终止位置的特征向量【**包含这个span的起始和终止位置的特征**】；这个span的attention表示向量【**提取这个span表示的核心信息，比如the black cat中cat是核心信息**】；以及一些额外的特征。 g i = \[ x S T A R T ( i ) ∗ , x E N D ( i ) ∗ , x ^ i , ϕ ( i ) \] \\boldsymbol\{g\}\_\{i\}=\\left\[\\boldsymbol\{x\}\_\{\\mathrm\{START\}(i)\}^\{\*\}, \\boldsymbol\{x\}\_\{\\mathrm\{END\}(i)\}^\{\*\}, \\hat\{\\boldsymbol\{x\}\}\_\{i\}, \\phi(i)\\right\] gi=\[xSTART(i)∗,xEND(i)∗,x^i,ϕ(i)\]
 *  **如何计算得分**
    
     *  简单点说：让向量的表示【**Embedding**】经过一个全连接神经网络【**FNN**】，即获得得分
     *  抽取了所有`span`的特征向量 g i \\boldsymbol\{g\}\_\{i\} gi后，需要完成两个任务，一是判断这个`span`是否是一个指代，二是判断任意两个`span`是否是`coreference`的关系。对于任意两个`span i和j`，它们的打分公式如下图所示，包含三部分，分别表示三个意思：**span i是一个指代吗**、**span j是一个指代吗**、**span i和span j是coreference关系吗**。三部分的概率计算方法也是全连接网络FFNN的方法。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70]
 *  **剪枝**
    
     *  计算完每个`span`的得分后，对得分高的保留，得分低的剪掉；对于保留下来的，每个span也只考虑指定个数的前指。降低计算量的同时，仍然有不错的召回率。
 *  **优化目标**
    
     *  通过真实的簇【**gold clustering**】，对于每个正确的前值的对数释然进行优化。（这里可以去论文或者代码细看，我觉得我不太能讲清楚）
        
          log ⁡ ∏ i = 1 N ∑ y ^ ∈ Y ( i ) ∩ GOLD ⁡ ( i ) P ( y ^ ) \\log \\prod\_\{i=1\}^\{N\} \\sum\_\{\\hat\{y\} \\in \\mathcal\{Y\}(i) \\cap \\operatorname\{GOLD\}(i)\} P(\\hat\{y\}) log∏i=1N∑y^∈Y(i)∩GOLD(i)P(y^)

# 整体算法流程 #

*  **由下至上**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 1]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 2]

# Experiments #

*  使用`CoNLL-2012`的英文指代消解英文数据集，训练集2802个文档，验证集343个文档，测试集348个文档。训练集平均每个文档有454个字，最长的文档有4009个字。
 *  实验效果：
 *  使用`CoNLL-2012`的英文指代消解英文数据集，训练集2802个文档，验证集343个文档，测试集348个文档。训练集平均每个文档有454个字，最长的文档有4009个字。
 *  **实验效果**：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 3]

[20200522115004499.png]: /images/20210511/40d223d054e34270b125865379323790.png
[paper_ End-to-end Neural Coreference Resolution]: https://arxiv.org/pdf/1707.07045.pdf
[code_ https_github.com_kentonl_e2e-coref]: https://github.com/kentonl/e2e-coref
[span]: https://blog.csdn.net/weixin_44912159/article/details/106280699
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70]: /images/20210511/fc6648bd39c5466b8b121a62b1512eb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200522115129999.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 2]: /images/20210511/98e4f3ac6c694c51bf32523973fb7500.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 3]: /images/20210511/3db6dac19de444448bf37971b2c8bd29.png