基于Python实现的自然语言处理高级专题

悠悠 2024-04-06 10:44 51阅读 0赞

## 自然语言处理高级专题 ##

本实验在 SemEval\_2015\_Task\_31i数据集上使用规则提取特征并使用 SVM 和随机森林两种方法在提取特征的基础上进行分类。

### 特征提取 ###

本实验参照ii文中的思路提取特征。

在 A 任务中，每个 question-comment pair 有 100 维特征。其中关于问题（QBody 字段）与回答（CBody 字段）本身各有 25 维特征，见表 1，在提取这些特征之前先去掉了文中的所有链接，但没有去掉html 标签。question-comment pair 整体还有 50 个特征，见表 2。

<table> 
 <thead> 
  <tr> 
   <th>特征描述</th> 
   <th>形式</th> 
   <th>维数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>标签数（以&lt;&gt;数量中较少的估计）</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>最长单词长度</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>平均单词长度</td> 
   <td>数值</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>单词数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>句子数量（以问号、句号、叹号总数估计）</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>平均每句单词数量</td> 
   <td>数值</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>大写单词数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>命名实体数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>no 的数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>yes 的数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>thank, thanks 的数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>please 的数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>may, might, could, can, would, will 的数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>问号的数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>叹号的数量</td> 
   <td>计数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>名词、动词、代词、疑问词、外来词的数量</td> 
   <td>计数</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <td>名词、动词、代词、疑问词、外来词的频率</td> 
   <td>比率</td> 
   <td>5</td> 
  </tr> 
 </tbody> 
</table>

表 1 问题和回答文本分别统计的特征

<table> 
 <thead> 
  <tr> 
   <th>特征描述</th> 
   <th>形式</th> 
   <th>维数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>问题和回答中的图数和链接数</td> 
   <td>计数</td> 
   <td>4</td> 
  </tr> 
  <tr> 
   <td>回答是否是第一个或最后一个</td> 
   <td>布尔</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>当前及前后回答的 USERID 是否和提问者相同</td> 
   <td>布尔</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>问题是否为是否类问题</td> 
   <td>布尔</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>问题类型（QCATEGORY）</td> 
   <td>one-hot</td> 
   <td>27</td> 
  </tr> 
  <tr> 
   <td>回答的 title 是否问“Re：”+问题 title</td> 
   <td>布尔</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>问题和回答相同的 uni|bi|tri gram 数</td> 
   <td>计数</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>上数相对于问题长度和回答长度的比值</td> 
   <td>比率</td> 
   <td>6</td> 
  </tr> 
  <tr> 
   <td>问题和回答的 uni|bi|tri gram 的 one-hot 向量余弦值</td> 
   <td>数值</td> 
   <td>3</td> 
  </tr> 
 </tbody> 
</table>

表 2 问题和回答联合统计的特征

由于官网的评价脚本中，A 任务只考虑 Good、bad 和 Potential 三个类别，所以在标记标签时，尝试了两种标签标记方式：A-full 是标全 6 类的。而 A-sim 是只标记 3 类的。

在 B 任务中使用的特征和 A 任务中相同，不过是以题为单位。故每道题的特征向量是 A-sim 标记下svm 训练结果中标记为 good 的选项的特征向量的均值。

### 实验设置 ###

在具体实现时，使用的工具 libsvm2和 xgboost3。分词、词性标注和命名实体识别等使用 nltk4。

简单调参后，两个任务均使用线性核 SVM，task-A 的两种标注的参数-c 均为 0.5，task-B 的参数-c为1。而在随机森林时，两个任务均使用 multi:softmax 作为目标函数，最大树深为 5，学习率 eta 为0.2，训练轮数为 50 轮。

评价时，task-A 和官网上评价脚本相同，只考虑 3 类。task-A 和 task-B 的评价指标均为 macro-f1和accuracy。

### 实验结果 ###

Task-A 在验证集和测试集上的实验结果如表 3 所示，Task-B 在验证集和测试集上的的实验结果如表4所示。

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>macro-F1</th> 
   <th>Acc</th> 
   <th>F1-Good</th> 
   <th>F1-Pot.</th> 
   <th>F1-Bad</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>A-full-svm-dev</td> 
   <td>47.39%</td> 
   <td>67.42%</td> 
   <td>76.05%</td> 
   <td>0.00%</td> 
   <td>61.66%</td> 
  </tr> 
  <tr> 
   <td>A-full-svm-test</td> 
   <td>49.41%</td> 
   <td>70.34%</td> 
   <td>76.70%</td> 
   <td>0.00%</td> 
   <td>67.99%</td> 
  </tr> 
  <tr> 
   <td>A-Sim-svm-dev</td> 
   <td>48.46%</td> 
   <td>69.36%</td> 
   <td>76.60%</td> 
   <td>0.00%</td> 
   <td>68.49%</td> 
  </tr> 
  <tr> 
   <td>A-Sim-svm-test</td> 
   <td>50.56%</td> 
   <td>72.77%</td> 
   <td>77.86%</td> 
   <td>0.00%</td> 
   <td>73.42%</td> 
  </tr> 
  <tr> 
   <td>A-full-rf-dev</td> 
   <td>48.51%</td> 
   <td>68.94%</td> 
   <td>77.12%</td> 
   <td>0.00%</td> 
   <td>64.96%</td> 
  </tr> 
  <tr> 
   <td>A-full-rf-test</td> 
   <td>49.57%</td> 
   <td>70.70%</td> 
   <td>77.08%</td> 
   <td>0.00%</td> 
   <td>68.49%</td> 
  </tr> 
  <tr> 
   <td>A-Sim-rf-dev</td> 
   <td>48.77%</td> 
   <td>69.85%</td> 
   <td>77.40%</td> 
   <td>0.00%</td> 
   <td>68.79%</td> 
  </tr> 
  <tr> 
   <td>A-Sim-rf-test</td> 
   <td>50.24%</td> 
   <td>72.27%</td> 
   <td>77.16%</td> 
   <td>0.00%</td> 
   <td>73.17%</td> 
  </tr> 
 </tbody> 
</table>

表 3 Task-A 上的实验结果

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>macro-F1</th> 
   <th>Acc</th> 
   <th>F1-Yes</th> 
   <th>F1-Unsure</th> 
   <th>F1-No</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>B-svm-dev</td> 
   <td>54.32%</td> 
   <td>55.88%</td> 
   <td>66.67%</td> 
   <td>40.00%</td> 
   <td>50.00%</td> 
  </tr> 
  <tr> 
   <td>B-svm-test</td> 
   <td>43.39%</td> 
   <td>51.72%</td> 
   <td>62.86%</td> 
   <td>46.15%</td> 
   <td>20.00%</td> 
  </tr> 
  <tr> 
   <td>B-rf-dev</td> 
   <td>52.77%</td> 
   <td>55.88%</td> 
   <td>68.75%</td> 
   <td>45.45%</td> 
   <td>42.86%</td> 
  </tr> 
  <tr> 
   <td>B-rf-test</td> 
   <td>57.50%</td> 
   <td>68.97%</td> 
   <td>82.35%</td> 
   <td>58.82%</td> 
   <td>28.57%</td> 
  </tr> 
 </tbody> 
</table>

表 4 Task-B 上的实验结果

点分析

由于本实验采用的机器学习方法并没有针对 macro-F1 做特殊地优化，在 Task-A 上，小类 Pot.的效果很差。导致了本实验 Accuracy 看起来还不错但 macro-F1 明显偏低。

Xgboost 在 TaskB 上的效果莫名地好。不过可能也是由于 Task-B 的数据集较小导致的意外吧。

但是网上下载的数据集的测试集规模和 SemEval-2015 评测报告中写的不一样。

### 横向对比 ###

我们将我们的结果与一些相关文章进行对比，Task-A 与 Task-B 的结果分别如表 5、表 6 所示。其中，Hou’s 为参考文献\[2\]的方法，也是我这里主要参考的方法；Quan’s 为参考文献\[3\]iii的方法，也是当时评测比赛时 Task-A 效果最好的方法（他们当时没做 Task-B）。Belinkov’s 为参考文献\[4\]iv的方法，也是当时评测比赛时 Task-B 效果最好的方法。

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>macro-F1</th> 
   <th>Acc</th> 
   <th>F1-Good</th> 
   <th>F1-Pot.</th> 
   <th>F1-Bad</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Task-A-SVM</td> 
   <td>50.56%</td> 
   <td>72.77%</td> 
   <td>77.86%</td> 
   <td>0.00%</td> 
   <td>73.42%</td> 
  </tr> 
  <tr> 
   <td>Task-A-RF</td> 
   <td>50.24%</td> 
   <td>72.27%</td> 
   <td>77.16%</td> 
   <td>0.00%</td> 
   <td>73.17%</td> 
  </tr> 
  <tr> 
   <td>Hou’s</td> 
   <td>56.44%</td> 
   <td>69.43%</td> 
   <td>78.87%</td> 
   <td>17.86%</td> 
   <td>72.58%</td> 
  </tr> 
  <tr> 
   <td>Quan’s</td> 
   <td>57.29%</td> 
   <td>72.52%</td> 
   <td>78.96%</td> 
   <td>14.36%</td> 
   <td>78.24%</td> 
  </tr> 
  <tr> 
   <td>Belinkov’s</td> 
   <td>49.54%</td> 
   <td>70.45%</td> 
   <td>----</td> 
   <td>----</td> 
   <td>----</td> 
  </tr> 
 </tbody> 
</table>

表 5 Task-A 上的横向比较

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>macro-F1</th> 
   <th>Acc</th> 
   <th>F1-Yes</th> 
   <th>F1-Unsure</th> 
   <th>F1-No</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Task-B-SVM</td> 
   <td>43.39%</td> 
   <td>51.72%</td> 
   <td>62.86%</td> 
   <td>46.15%</td> 
   <td>20.00%</td> 
  </tr> 
  <tr> 
   <td>Task-B-RF</td> 
   <td>57.50%</td> 
   <td>68.97%</td> 
   <td>82.35%</td> 
   <td>58.82%</td> 
   <td>28.57%</td> 
  </tr> 
  <tr> 
   <td>Hou’s</td> 
   <td>53.60%</td> 
   <td>64.00%</td> 
   <td>80.00%</td> 
   <td>44.44%</td> 
   <td>36.36%</td> 
  </tr> 
  <tr> 
   <td>Belinkov’s</td> 
   <td>63.70%</td> 
   <td>72.00%</td> 
   <td>----</td> 
   <td>----</td> 
   <td>----</td> 
  </tr> 
 </tbody> 
</table>

表 6 Task-B 上的横向比较

从上面的比较可以看出，我们的(SVM 与随机森林)方法在 Task-B 与 Task-A Accuracy 上超过了这两种方法选取特征时主要参考的工作，但是距离最好的工作还略有差距。