NLP-生成模型-2016：CopyNet【Copy机制赋予seq2seq模型从源文本中复制词汇的能力，解决Decoder的OOV问题】

比眉伴天荒 2023-10-03 15:02 2阅读 0赞

[《原始论文：Incorporating Copying Mechanism in Sequence-to-Sequence Learning》][Incorporating Copying Mechanism in Sequence-to-Sequence Learning]

本文开篇，作者就提出他们的目标是解决seq2seq模型的复制问题，并且提供了一个例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_21_color_FFFFFF_t_70_g_se_x_16_pic_center]  
在这个例子中，我们要对用户提出的问题做出回答，显然，蓝色部分根本不需要理解语义，直接复制即可。针对这种情形，作者希望能赋予seq2seq复制的能力。

解决方案其实和前一篇ACL17（[《Get To The Point: Summarization with Pointer-Generator Networks》][Get To The Point_ Summarization with Pointer-Generator Networks]）的文章有些类似。ACL17的文章相对较为通俗易懂，我们在读过它后再来理解ACL16（[《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》][Incorporating Copying Mechanism in Sequence-to-Sequence Learning]）的文章会更容易。

模型包含两个部分：Generation-Mode用来根据词汇表生成词汇，然后Copy-Mode用来直接复制输入序列中的一些词（是不是觉得有些眼熟）。看一下模型结构图：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_68_color_FFFFFF_t_70_g_se_x_16_pic_center]  
在红色矩形圈出的部分中，左边正是在词汇表上的概率分布，而右边则是在输入序列上的概率分布，将这两部分的概率进行加和即得到最终的预测结果。公式如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_51_color_FFFFFF_t_70_g_se_x_16_pic_center]  
是不是和文章《Get To The Point: Summarization with Pointer-Generator Networks》的公式非常相似？不同的是文章《Get To The Point: Summarization with Pointer-Generator Networks》还计算了一个软选择的概率 P g e n P\_\{gen\} Pgen 用来结合生成概率和复制概率，而在这里则是直接加和。

为了更好地理解，作者绘制了一幅词汇分布图。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_30_color_FFFFFF_t_70_g_se_x_16_pic_center]  
图中X部分是输入序列的词汇集合，而V部分代表输出词汇集合，当然，通常情况下两个集合都存在交集，而在X和V并集之外的部分就是未知词汇：UNK。所以我们用一句话来解释上面的公式：当某个词是输入序列独有的则该词的生成概率为0，复制概率不变；若某个词是输出词汇表独有的则该词的复制概率为0，而生成概率不变；若某个词既存在于输入序列又存在于输出词汇表则生成概率和复制概率都不变。最后，将生成概率和复制概率加和得到最终的概率。

那么生成概率和复制概率具体怎么计算呢？来看公式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_24_color_FFFFFF_t_70_g_se_x_16_pic_center]  
看起来有点复杂，但对比一下，其实形式和attention计算公式非常相似。

最后，通过一个实例看到模型的能力还是很强的：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_68_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

--------------------

参考资料：  
[Pointer Networks简介及其应用][Pointer Networks]

[Incorporating Copying Mechanism in Sequence-to-Sequence Learning]: https://arxiv.org/abs/1603.06393
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_21_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/48e7bbb359d24c64b6d6716f0ae0eb01.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_Q1NETiBAbmluamF3ZWk=,size_21,color_FFFFFF,t_70,g_se,x_16#pic_center
[Get To The Point_ Summarization with Pointer-Generator Networks]: https://ui.adsabs.harvard.edu/abs/2017arXiv170404368S
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_68_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/4d4795f1515e4647b7fcf75d41eb37f3.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_Q1NETiBAbmluamF3ZWk=,size_68,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_51_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/f4597dbb1c6e4fbc96c5a49b9a73f124.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_Q1NETiBAbmluamF3ZWk=,size_51,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_30_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/8df255d0bb9c419387024ce5e94c55b3.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_Q1NETiBAbmluamF3ZWk=,size_30,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_24_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/b5c94f181e1e447b93e4cae092289fd2.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_Q1NETiBAbmluamF3ZWk=,size_24,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBAbmluamF3ZWk_size_68_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: https://img-blog.csdnimg.cn/c9fa8a96ca684ac3887411057b985937.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_Q1NETiBAbmluamF3ZWk=,size_68,color_FFFFFF,t_70,g_se,x_16#pic_center
[Pointer Networks]: https://zhuanlan.zhihu.com/p/48959800