论文解读：ACL2021 NER | 基于模板的BART命名实体识别

不念不忘少年蓝@ 2022-09-16 15:17 101阅读 0赞

> **摘要：**本文是对ACL2021 NER 基于模板的BART命名实体识别这一论文工作进行初步解读。

本文分享自华为云社区《[ACL2021 NER | 基于模板的BART命名实体识别][ACL2021 NER _ _BART]》，作者： JuTzungKuei 。

论文：Cui Leyang, Wu Yu, Liu Jian, Yang Sen, Zhang Yue. TemplateBased Named Entity Recognition Using BART \[A\]. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 \[C\]. Online: Association for Computational Linguistics, 2021, 1835–1845.

链接：https://aclanthology.org/2021.findings-acl.161.pdf

代码：[GitHub - Nealcly/templateNER: Source code for template-based NER][GitHub - Nealcly_templateNER_ Source code for template-based NER]

![6cc7f0ace4fc4bf3e0cc6919b9b84d8c.png][]

## 0、摘要 ##

*  小样本NER：源领域数据多，目标领域数据少
 *  现有方法：基于相似性的度量
    
     *  缺点：不能利用模型参数中的知识进行迁移
 *  提出基于模板的方法
    
     *  NER看作一种语言模型排序问题，seq2seq框架
     *  原始句子和模板分别作为源序列和模板序列，由候选实体span填充
     *  推理：根据相应的模板分数对每个候选span分类
 *  数据集
    
     *  CoNLL03 富资源
     *  MIT Movie、MIT Restaurant、ATIS 低资源

## 1、介绍 ##

*  NER：NLP基础任务，识别提及span，并分类
 *  神经NER模型：需要大量标注数据，新闻领域很多，但其他领域很少
    
     *  理想情况：富资源 知识迁移到 低资源
     *  实际情况：不同领域实体类别不同
     *  训练和测试：softmax层和crf层需要一致的标签
     *  新领域：输出层必须再调整和训练
 *  最近，小样本NER采用距离度量：训练相似性度量函数
    
     *  优：降低了领域适配
     *  缺：(1)启发式最近邻搜索，查找最佳超参，未更新网络参数，不能改善跨域实例的神经表示；(2)依赖源域和目标域相似的文本模式
 *  提出基于模板的方法
    
     *  利用生成PLM的小样本学习潜力，进行序列标注
     *  BART由标注实体填充的预定义模板微调
     *  实体模板：<candidate\_span> is a <entity\_type> entity
     *  非实体模板：<candidate\_span> is not a named entity
 *  方法优点：
    
     *  可有效利用标注实例在新领域微调
     *  比基于距离的方法更鲁棒，即使源域和目标域在写作风格上有很大的差距
     *  可应用任意类别的NER，不改变输出层，可持续学习
 *  第一个使用生成PLM解决小样本序列标注问题
 *  Prompt Learning（提示学习）

## 2、方法 ##

![7a6e854db0461c5d8055db6f8cbf680e.png][]

### 2.1、创建模板 ###

*  将NER任务看作是seq2seq框架下的LM排序问题
 *  标签集 entity\_type：\\mathbf\{L\}=\\\{l\_1,...,l\_\{|L|\}\\\}**L**=\{ *l*1,...,*l*∣*L*∣\}，即\{LOC, PER, ORG, …\}
 *  自然词：\\mathbf\{Y\}=\\\{y\_1,...,y\_\{|L|\}\\\}**Y**=\{ *y*1,...,*y*∣*L*∣\}，即\{location, person, orgazation, …\}
 *  实体模板：\\mathbf\{T\}^\{+\}\_\{y\_k\}=\\text\{<candidate\\\_span> is a location entity.\}**T***yk*+=<candidate\_span> is a location entity.
 *  非实体模板：\\mathbf\{T\}^\{-\}=\\text\{<candidate\\\_span> is not a named entity.\}**T**−=<candidate\_span> is not a named entity.
 *  模板集合：\\mathbf\{T\}=\[\\mathbf\{T\}^\{+\}\_\{y\_1\},...,\\mathbf\{T\}^\{+\}\_\{y\_\{|L|\}\},\\mathbf\{T\}^\{-\}\]**T**=\[**T***y*1+,...,**T***y*∣*L*∣+,**T**−\]

### 2.2、推理 ###

*  枚举所有的span，限制n-grams的数量1~8，每个句子有8n个模板
 *  模板打分：\\mathbf\{T\}\_\{ \{y\_k\},x\_\{i:j\}\}=\\\{t\_1,...,t\_m\\\}**T***yk*,*xi*:*j*=\{ *t*1,...,*tm*\}

![77e77360ba09ce3bf2c3a971542fe9d6.png][]

*  x\_\{i:j\}*xi*:*j*实体得分最高
 *  如果存在嵌套实体，选择得分较高的一个

### 2.3、训练 ###

*  金标实体用于创建模板
    
     *  实体x\_\{i:j\}*xi*:*j*的类型为y\_k*yk*，其模板为：\\mathbf\{T\}^\{+\}\_\{y\_k,x\_\{i:j\}\}**T***yk*,*xi*:*j*+
     *  非实体x\_\{i:j\}*xi*:*j*，其模板为：\\mathbf\{T\}^\{-\}\_\{x\_\{i:j\}\}**T***xi*:*j*−
 *  构建训练集：
    
     *  正例：(\\mathbf\{X\}, \\mathbf\{T\}^+)(**X**,**T**\+)
     *  负例：(\\mathbf\{X\}, \\mathbf\{T\}^-)(**X**,**T**−)，随机采样，数量是正例的1.5倍
 *  编码：\\mathbf\{h\}^\{enc\}=\\text\{ENCODER\}(x\_\{1:n\})**h***enc*=ENCODER(*x*1:*n*)
 *  解码：\\mathbf\{h\}\_c^\{dec\}=\\text\{DECODER\}(h^\{enc\}, t\_\{1:c-1\})**h***cdec*=DECODER(*henc*,*t*1:*c*−1)
 *  词t\_c*tc*的条件概率：p(t\_c|t\_\{1:c-1\},\\mathbf\{X\})=\\text\{SOFTMAX\}(\\mathbf\{h\}\_c^\{dec\}\\mathbf\{W\}\_\{lm\}+\\mathbf\{b\}\_\{lm\})*p*(*tc*∣*t*1:*c*−1,**X**)=SOFTMAX(**h***cdec***W***lm*+**b***lm*)
    
     *  \\mathbf\{W\}\_\{lm\} \\in \\mathbb\{R\}^\{d\_h\\times |V|\}**W***lm*∈R*dh*×∣*V*∣
 *  交叉熵loss

## 3、结果 ##

*  不同模板类型的测试结果
    
     *  选择前三个模板，分别训练三个模型

![452db2af5d09c7488e4f71861912fc80.png][]

*  实验结果
    
     *  最后一行是三模型融合，实体级投票

![cf76233bc63a7f809e89c44b0b4510b4.png][]

号外号外：想了解更多的AI技术干货，欢迎上华为云的AI专区，目前有[AI编程Python等六大实战营][AI_Python]供大家免费学习。

**[点击关注，第一时间了解华为云新鲜技术~][Link 1]**

[ACL2021 NER _ _BART]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs/297057%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Dei%26utm_content%3Dcontent
[GitHub - Nealcly_templateNER_ Source code for template-based NER]: https://github.com/Nealcly/templateNER
[6cc7f0ace4fc4bf3e0cc6919b9b84d8c.png]: /images/20220828/feb6f52289fb460c86282f7d438e2cbb.png
[7a6e854db0461c5d8055db6f8cbf680e.png]: /images/20220828/fc07a1f584264882bda1a01af27b1386.png
[77e77360ba09ce3bf2c3a971542fe9d6.png]: /images/20220828/1be6e643ca3240f6b3fc4b415ac17e63.png
[452db2af5d09c7488e4f71861912fc80.png]: /images/20220828/1653c4c6972a418bb30580f33afee1fa.png
[cf76233bc63a7f809e89c44b0b4510b4.png]: /images/20220828/ff734249ecf046a9bf89564c083fa8a6.png
[AI_Python]: http://su.modelarts.club/qQB9
[Link 1]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Dei%26utm_content%3Dcontent