AI比赛-文本分类：第五届“达观杯” 基于大规模预训练模型的风险事件标签识别

朱雀 2024-03-26 00:39 58阅读 0赞

数据简介

本赛事采用了互联网上的新闻和资讯数据，目标在于识别新闻资讯文本中的风险事件标签。场景示例包括以下：  
i.金融领域  
金融领域的风险事件文字描述沉淀在大量的客观报道或分析报告中，需从文本中提取出事件及其之间复杂的关系。风险事件示例从宏观、行业、企业等不同层面对风险进行了分类，通过标签将事件进行标引可以从事件的角度对各方面的风险情况进行追踪，并且构建事件之间的内在联系。

<table> 
 <thead> 
  <tr> 
   <th>资讯文本</th> 
   <th>风险事件标签</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>新冠肺炎疫情给美国劳动力市场造成巨大冲击，首次申请失业救济人数已经连续19周超过100万人，约为疫情暴发前平均水平的6倍</td> 
   <td>宏观_经济数据下滑</td> 
  </tr> 
  <tr> 
   <td>车险综改保费压力尚未见底，多项细分领域承压导致非车险首现负增长</td> 
   <td>行业_行业恶化</td> 
  </tr> 
  <tr> 
   <td>实控人和高管拟套现30亿，公司市值狂跌20%</td> 
   <td>企业_市值下跌</td> 
  </tr> 
  <tr> 
   <td>上市公司子公司连续5年财务造假，历年年报审计结论却是“无保留意见”</td> 
   <td>企业_违法行为</td> 
  </tr> 
  <tr> 
   <td>共计遭遇10词遭遇行政处罚，累计被罚款429万元</td> 
   <td>企业_行政处罚</td> 
  </tr> 
  <tr> 
   <td>营销费用却高出研发费用近5倍，这也为其产品质量问题埋下了隐患，产品质量问题成为消费者投诉重灾区</td> 
   <td>企业_产品问题</td> 
  </tr> 
 </tbody> 
</table>

ii.政务领域  
妥善处置各类风险事件，提高政府对突发事件的快速反应能力。通过对热点资讯进行风险识别和预警。使处置突发事件从被动应付向源头管理转变，找出突发事件的规律，把突发事件解决在萌芽状态。

<table> 
 <thead> 
  <tr> 
   <th>资讯文本</th> 
   <th>风险事件标签</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>石化公司双苯厂发生爆炸事故，造成大量苯类污染物进入江河水体，造成重大环境污染</td> 
   <td>事故_生产设施</td> 
  </tr> 
  <tr> 
   <td>重型罐式半挂车由西向东行驶至下坡转弯处，车辆侧翻与道路左侧水泥护墩相撞后，驶入路基下燃烧，造成3人死亡</td> 
   <td>事故_交通运输</td> 
  </tr> 
  <tr> 
   <td>住户屋后窗户外因山洪冲下了很多泥沙石头，且有部分石头有松动迹象，安全隐患较大</td> 
   <td>自然_洪涝灾害</td> 
  </tr> 
  <tr> 
   <td>上午11时0分,青海省海西州德令哈市发生了3.1级地震,地震震源深度9公里</td> 
   <td>自然_地震灾害</td> 
  </tr> 
  <tr> 
   <td>市场监管局执法人员对5家品牌奶茶店进行了检查，发现多家门店存在工作人员健康证不齐全、原材料管理不善等问题</td> 
   <td>卫生_食品安全</td> 
  </tr> 
  <tr> 
   <td>过去24小时内,印尼新冠疫情单日新增确诊病例21342例,再创单日增长新高</td> 
   <td>卫生_传染病疫情</td> 
  </tr> 
 </tbody> 
</table>

数据说明

本次大赛采用的数据性质均为新闻资讯数据，并且进行了字符编码（保留了句子划分的标点符号），文中的字符会脱敏转换成唯一的数字ID，ID之间使用空格进行分割。大赛提供选手使用的有三个数据集，包括如下：  
1.训练集：风险事件分类的训练集规模是10000+，包含10个一级标签和35个二级标签。训练集文件为csv格式，表头包含“id”、“text”、“label”，分别对应文本ID、文本内容和风险事件标签，每个文本只对应单个标签。标签形如“一级类别标签-二级类别标签”，标签经过脱敏处理，举例来说是“1-1”或者“2-3”；  
2.无标注文本：大规模无标注的文本规模是亿级，可供选手选择用来进行语言模型训练，多行格式，每行为json表示，包含title和content两个字段，采用统一的脱敏编码形式；  
3.测试集：风险事件分类的测试集合，csv格式（表头包含“id”、“text”，分别对应文本ID和文本内容)，采用统一的脱敏编码形式。

提交要求

csv结果提交：针对算法竞赛，参赛者以csv等文件格式，提交模型结果到大数据竞赛平台，平台进行在线评分，实时排名。目前平台仅支持单文件提交，即所有提交内容需要放在一个文件中。

提交示例

参赛者以csv文件格式提交，提交模型结果到大数据竞赛平台，平台进行在线评分，实时排名。目前平台仅支持单文件提交，即所有提交内容需要放在一个文件中；submission.csv文件字段如下：

<table> 
 <thead> 
  <tr> 
   <th>Id</th> 
   <th>label</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>210</td> 
   <td>1-3</td> 
  </tr> 
  <tr> 
   <td>211</td> 
   <td>2-1</td> 
  </tr> 
  <tr> 
   <td>212</td> 
   <td>1-1</td> 
  </tr> 
  <tr> 
   <td>···</td> 
   <td>···</td> 
  </tr> 
 </tbody> 
</table>

评测标准

风险事件标签评测采用macro F1指标，计算公式如下：  
![27db226a2cf448cdae8f26ae8944115d.png][]  
其中，Pi是表示第i个风险标签对应的Precision， Ri是表示第i个风险标签对应Recall。  
AB榜的划分方式和比例： 【1】评分采用AB榜形式，提交文件必须包含测试集中所有用户的预测值。排行榜显示A榜成绩，竞赛结束后2小时切换成B榜单。B榜成绩以选定的两次提交或者默认的最后两次提交的最高分为准，最终比赛成绩以B榜单为准。 【2】此题目的AB榜是随机划分，A榜数据占测试集的1/3，B榜使用全量测试集的2/3。

[第五届“达观杯” 基于大规模预训练模型的风险事件标签识别 Competitions - DataFountain][_ Competitions - DataFountain]

[基于bert预训练模型的大规模不均衡样本文本分类问题的解决方案 丨 达观动态-达观数据-企业大数据技术服务专家][bert_ _ _-_-]

[27db226a2cf448cdae8f26ae8944115d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/4a8d22b3deab49faa404d60e26d61f5a.png
[_ Competitions - DataFountain]: https://www.datafountain.cn/competitions/512/datasets
[bert_ _ _-_-]: http://www.datagrand.com/blog/%E5%9F%BA%E4%BA%8Ebert%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%A4%A7%E8%A7%84%E6%A8%A1%E4%B8%8D%E5%9D%87%E8%A1%A1%E6%A0%B7%E6%9C%AC%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB%E9%97%AE.html