案例精析—2021语言与智能技术竞赛：多形态信息抽取任务

超、凢脫俗 2022-11-15 11:54 136阅读 0赞

# 总结 #

*  文章来源：CSDN\_LawsonAbs
 *  LawsonAbs的认知与思考，望各位读者审慎阅读。
 *  本文可以看做是**2021语言与智能技术竞赛：多形态信息抽取任务**比赛过程的一个记录。

--------------------

# 1 百度Baseline #

百度baseline是使用paddle 写的，主要的思想是一个多层的指针网络。

## 1.1 关于 `predicate2id.json` 文件 ##

这里针对 `predicate = 配音`这个就生成了如下两个 `predicate` 值：  
`配音_inwork`， `配音_@value`。 因为这是一个复杂的结构体，而不能简单的抽取`配音`就可以了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]

## 1.2 在运行 run\_duie.py 脚本时，出现如下的界面？是什么问题？ ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]

没找到是什么原因。惨！

# 2. 2020年的冠军解决方案 #

> 采用创新技术方案，把实体抽取任务分为主语抽取、宾语抽取和关系分类三个步骤，输出层采用机器阅读理解中的指针网络作为基本结构，有效解决了实体进行两两匹配带来的大量负样本问题，训练效果大大提升，最终取得了第一名的成绩。

# 3 Baseline 的错误样例分析 #

这些问题来源于 `error case` 分析

## 3.1 text 没有有效的分隔符（猜测） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]  
预测结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]  
这里预测结果较差，主要有两个原因：

*  因为text 间没有有效的分隔符，
 *  baseline 中的是 将subject 和 object 全部组合在一起，

## 2 噪音数据 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]  
模型能够预测出来，但是dev\_train.json 中却没有给出正确的来。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]  
上面这条数据是不是有点儿问题？ 只是标注了一个西班牙语，怎么就变成了官方语言？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 7]  
针对上面这条数据，我想采取一个分阶段训练的方法：

*  第一阶段大致训练一个模型
 *  第二阶段开始精致调参，丢弃loss超过一定范围的数据。要保证每条数据都能被完全充分的利用

这种数据标注情况非常常见，所以一定要使用`修改`后的train数据来训练，否则会很影响训练效果

## 3.3 少字导致错误 ##

如下面所示： 因为预测的是`情人`，而正确的是`情人节`，导致出现错误。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 8]

这个里面还有一个就是`@xxx` 竟然也被预测出来了。

## 3.4 遗漏数据 ##

训练好的模型有很多遗漏，这里简单展示一下：  
![forget][]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 10]

观察这么多的数据，发现原因是无法预测潜在的关系

##  ##

其实模型并不知道 `孙`，`子` 的差别，它们的embedding 甚至都很相似，所以就会产生下面这种错误。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 11]

## 其它 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 12]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 13]  
这里的数字都预测错误了

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 14]  
隔这么远都能预测，但是预测的都是错误的，肯定是有某些数据导致产生这种问题。

##  ##

遗漏的有1w条（recall很低），（即使除去官方数据中的错误标注）precision也不是很高。  
![在这里插入图片描述][20210403101732164.png]

## 3.4 我的想法 ##

### 3.4.1 噪音数据处理（未实现） ###

将空格，替换成\[sep\]，或者是其它特殊字符。

### 3.4.2 数据迭代（未实现） ###

当前的模型根本是理解不了语义的，所以我认为一切的问题都是数据的问题，如果能利用好所有的正确数据，而规避错误数据集，再采用迭代训练的方式来解决这个问题。

### 3.4.3 dropout（未实现） ###

能不能 dropout 掉所有无用的数据？

# 4 疑问 #

## 4.1 怎么根据生成的标签，匹配出一组？ ##

将匹配出来的subject 和 object 循环匹配即可，所以这种匹配方式可能会导致出现冗余。冗余情形如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 15]

## 4.2 如何根据predicate 的label生成最后的结果？ ##

这个是写在baseline utils.py 下 的decoding 函数中。

# 5 团队方案 #

基于之前的冠军方案，下面介绍一下我们的方案

## 5.1 模型结构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 16]  
总体是一个 `pipeline` 的方式：

*  step 1. 先预测subject 【NER问题】
 *  setp 2. 再预测上述subject 下的所有 object 【NER 问题】
 *  step 3. 使用上述 subject 和 object 得到的元组，去预测二者的关系类别 【分类问题】

样例解释：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 17]

*  先预测出`宇文娥英`，
 *  再在`宇文娥英` 的基础上，预测出`杨丽华`和 `周宣帝`
 *  再将`宇文娥英+杨丽华` => `母亲`， `宇文娥英`\+`周宣帝` => `父亲`

## 5.2 模型效果 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 18]

precision 和 recall都很低 ，说明模型遗漏了基础要点。

## 5.3 模型预测结果错误样例分析 ##

### 5.3.1 subject 预测的成功率不高（待解决） ###

单独运行 预测subject 的效果，发现其效果并不好  
![在这里插入图片描述][20210408101631369.png]

### 5.3.2 英文字符间的空格被分开了导致出错（待解决） ###

![在这里插入图片描述][20210407185221103.png]

### 5.3.3 因为字不在vocab库导致出错（已解决） ###

![在这里插入图片描述][20210407192722143.png]

## 5.4 改进方案 ##

*  使用`subject`和`object`预测`relation`时，加O 类。（加一部分噪音数据构造O类） 【2021-4-11】
 *  模型加CRF 【2021-4-11】
 *  模型加入scheduler 参数 【2021-04-18】
 *  `pu learning` 【2021-04-18】
 *  数据迭代【2021-04-25】
 *  梯度累积【2021-04-25】
 *  在训练模型时使用 `Sampler` 【2021-04-25】

## 5.5 其它优化方案 ##

*  降低batch中的数据集大小

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221022/8077d01de2304d69b479dbdfb53241b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210401084807420.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2021040214274536.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210402142844336.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210402143922360.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210402144504605.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210403101454935.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210403104827197.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210403092350924.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[forget]: https://img-blog.csdnimg.cn/20210403094950113.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210403095134925.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210403095626556.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20210403095329132.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210403103943856.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20210403132534399.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20210403133344594.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[20210403101732164.png]: https://img-blog.csdnimg.cn/20210403101732164.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20210404095303811.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20210404104036338.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20210404101715443.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20210408133713361.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[20210408101631369.png]: https://img-blog.csdnimg.cn/20210408101631369.png
[20210407185221103.png]: https://img-blog.csdnimg.cn/20210407185221103.png
[20210407192722143.png]: https://img-blog.csdnimg.cn/20210407192722143.png