基于Python实现的跨语言情感分析

拼搏现实的明天。 2024-04-06 10:44 123阅读 0赞

## 跨语言情感分析 ##

实验任务和数据集本实验在 NLPCC2013 跨语言情感分类任务上进行。本任务为对三个领域的评论文档 music、book、DVD 标注情感倾向（正向、负向）。三类数据的规模如表 1，所有标准数据中，正向和负向的标注量都是相同的。

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>中文标注数据</th> 
   <th>英文标注数据</th> 
   <th>中文未标注数据</th> 
   <th>中文测试数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>book</td> 
   <td>40</td> 
   <td>4000</td> 
   <td>47071</td> 
   <td>4000</td> 
  </tr> 
  <tr> 
   <td>music</td> 
   <td>40</td> 
   <td>4000</td> 
   <td>29677</td> 
   <td>4000</td> 
  </tr> 
  <tr> 
   <td>DVD</td> 
   <td>40</td> 
   <td>4000</td> 
   <td>17814</td> 
   <td>4000</td> 
  </tr> 
 </tbody> 
</table>

表 1. 实验数据规模

本实验使用谷歌翻译对所有数据进行了翻译。对对所有文档，将标题与内容连接起来抽取词频特征。在判定时时，统一使用 sklearn提供的 LinearSVR 工具。

### 实验结果 ###

Baseline：只使用标注数据作为训练数据，提取词频特征，对测试数据进行预测，LinearSVR 采用默认参数。结果如表 2。combine\_add 为对中英文的结果简单相加，combine\_concat 为将中英文特征向量简单相连。ALL 列表示把三类数据混在一起的实验结果。

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Book</th> 
   <th>Music</th> 
   <th>DVD</th> 
   <th>Average</th> 
   <th>All</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Cn</td> 
   <td>73.33%</td> 
   <td>67.98%</td> 
   <td>71.18%</td> 
   <td>70.83%</td> 
   <td>72.15%</td> 
  </tr> 
  <tr> 
   <td>En</td> 
   <td>72.93%</td> 
   <td>66.25%</td> 
   <td>69.00%</td> 
   <td>69.39%</td> 
   <td>71.33%</td> 
  </tr> 
  <tr> 
   <td>combine_add</td> 
   <td>76.95%</td> 
   <td>68.18%</td> 
   <td>73.10%</td> 
   <td>72.74%</td> 
   <td>74.94%</td> 
  </tr> 
  <tr> 
   <td>combine_concat</td> 
   <td>77.35%</td> 
   <td>67.28%</td> 
   <td>72.90%</td> 
   <td>72.51%</td> 
   <td>73.41%</td> 
  </tr> 
 </tbody> 
</table>

表 2. 几组简单设置下的实验结果

由表 2 中可以看出，翻译对于跨语言的情感分类是有效的。对两种语言的结果的简单加和与将特征进行串联都可以让效果略有提升。将三类数据混在一起的效果比三类数据分开的效果更好。

由于三类混在一起的设置与相加组合的方法效果相对最好，于是在该设置下对一些 tf-idf 预处理特征的方法进行尝试，设置如下，结果如表 3 所示。  
![在这里插入图片描述][3d5501a4fedd41a48216fe8ca75c7486.png]

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>En</th> 
   <th>Cn</th> 
   <th>combine_add</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>##</td> 
   <td>71.23%</td> 
   <td>72.29%</td> 
   <td>75.65%</td> 
  </tr> 
  <tr> 
   <td>+#</td> 
   <td>71.33%</td> 
   <td>72.15%</td> 
   <td>74.94%</td> 
  </tr> 
  <tr> 
   <td>,#</td> 
   <td>68.34%</td> 
   <td>71.77%</td> 
   <td>73.15%</td> 
  </tr> 
  <tr> 
   <td>.#</td> 
   <td>71.93%</td> 
   <td>72.22%</td> 
   <td>75.81%</td> 
  </tr> 
  <tr> 
   <td>3#</td> 
   <td>72.73%</td> 
   <td>74.25%</td> 
   <td>77.18%</td> 
  </tr> 
  <tr> 
   <td>3+</td> 
   <td>69.02%</td> 
   <td>73.27%</td> 
   <td>74.96%</td> 
  </tr> 
  <tr> 
   <td>3,</td> 
   <td>68.90%</td> 
   <td>73.23%</td> 
   <td>74.88%</td> 
  </tr> 
  <tr> 
   <td>3.</td> 
   <td>67.31%</td> 
   <td>73.15%</td> 
   <td>74.71%</td> 
  </tr> 
 </tbody> 
</table>

表 3. Tf-idf 处理效果对效果最好的配置：combine\_add+ 3\#调整 LinearSVR 正则化系数-C，结果如图 4 所示。

<table> 
 <thead> 
  <tr> 
   <th>-C</th> 
   <th>En</th> 
   <th>Cn</th> 
   <th>combine_add</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1.0</td> 
   <td>72.73%</td> 
   <td>74.25%</td> 
   <td>77.18%</td> 
  </tr> 
  <tr> 
   <td>0.5</td> 
   <td>73.23%</td> 
   <td>74.93%</td> 
   <td>77.83%</td> 
  </tr> 
  <tr> 
   <td>0.2</td> 
   <td>74.41%</td> 
   <td>76.53%</td> 
   <td>78.83%</td> 
  </tr> 
  <tr> 
   <td>0.1</td> 
   <td>74.98%</td> 
   <td>77.29%</td> 
   <td>79.48%</td> 
  </tr> 
  <tr> 
   <td>0.08</td> 
   <td>75.09%</td> 
   <td>77.41%</td> 
   <td>79.58%</td> 
  </tr> 
  <tr> 
   <td>0.05</td> 
   <td>74.98%</td> 
   <td>77.98%</td> 
   <td>79.66%</td> 
  </tr> 
  <tr> 
   <td>0.03</td> 
   <td>74.99%</td> 
   <td>77.79%</td> 
   <td>79.40%</td> 
  </tr> 
  <tr> 
   <td>0.02</td> 
   <td>75.04%</td> 
   <td>77.68%</td> 
   <td>79.25%</td> 
  </tr> 
 </tbody> 
</table>

表 4. LinearSVR 调整正则化系数的结果

![在这里插入图片描述][6d14d1d7a41d4fe7829b05165ad15206.png]

对效果最好的配置：combine\_add+ 3\# –C=0.05 绘制准确率召回率曲线，如图 1 所示。从图 1 中可以看出，top0.5%左右的准确率实际上是偏低的，top1%~top5%这部分的结果的准确率是很高的，基本上是在 95%以上的，之后准确率就开始不断下降了。所以我们在后面进行 co-training 时，更倾向于利用在未标注数据集中，打分在 0.5%~5%之间的这部分数据。

图 1. combine\_add+ 3\# –C=0.05 的准确率召回率曲线

接下来进行 co-training。每次根据 combine\_add+ 3\#的结果选择未标注集 top n 的数据进行标注并加入训练集。由于上面的观察，我们舍弃 top a 的数据，co-training 的结果如表 5 所示。其中，iter 表示达到该效果时的迭代轮数，0 轮为不进行迭代即不使用 co-training 时的效果。

<table> 
 <thead> 
  <tr> 
   <th>top n</th> 
   <th>ignore a</th> 
   <th>En</th> 
   <th>Cn</th> 
   <th>combine_add</th> 
   <th>iter</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>25</td> 
   <td>0</td> 
   <td>75.72%</td> 
   <td>78.02%</td> 
   <td>79.88%</td> 
   <td>35</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>0</td> 
   <td>75.95%</td> 
   <td>77.59%</td> 
   <td>79.80%</td> 
   <td>19</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>0</td> 
   <td>75.92%</td> 
   <td>77.53%</td> 
   <td>79.75%</td> 
   <td>10</td> 
  </tr> 
  <tr> 
   <td>200</td> 
   <td>0</td> 
   <td>74.97%</td> 
   <td>77.97%</td> 
   <td>79.67%</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>150</td> 
   <td>76.00%</td> 
   <td>78.22%</td> 
   <td>79.88%</td> 
   <td>40</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>150</td> 
   <td>76.05%</td> 
   <td>78.10%</td> 
   <td>79.87%</td> 
   <td>23</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>150</td> 
   <td>75.66%</td> 
   <td>78.05%</td> 
   <td>79.73%</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>200</td> 
   <td>150</td> 
   <td>75.88%</td> 
   <td>78.09%</td> 
   <td>79.77%</td> 
   <td>4</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>300</td> 
   <td>76.03%</td> 
   <td>78.13%</td> 
   <td>79.84%</td> 
   <td>35</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>300</td> 
   <td>76.06%</td> 
   <td>78.17%</td> 
   <td>79.83%</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>300</td> 
   <td>75.86%</td> 
   <td>78.11%</td> 
   <td>79.72%</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>200</td> 
   <td>300</td> 
   <td>76.02%</td> 
   <td>78.32%</td> 
   <td>79.83%</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>600</td> 
   <td>75.97%</td> 
   <td>77.96%</td> 
   <td>79.67%</td> 
   <td>38</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>600</td> 
   <td>74.98%</td> 
   <td>77.97%</td> 
   <td>79.67%</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>600</td> 
   <td>74.98%</td> 
   <td>77.97%</td> 
   <td>79.67%</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>1000</td> 
   <td>75.60%</td> 
   <td>77.93%</td> 
   <td>79.77%</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>2000</td> 
   <td>74.97%</td> 
   <td>77.97%</td> 
   <td>79.67%</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>4000</td> 
   <td>74.96%</td> 
   <td>77.97%</td> 
   <td>79.66%</td> 
   <td>0</td> 
  </tr> 
 </tbody> 
</table>

表 5 co-training 效果

由上表中可以看出，ignore a 的作用看起来并没有从图 1 中预期得那么明显（全部未标注数据约 9w 多组，600≈0.6%， 300≈0.3%，150≈0.15%），一般在每次更新较少的数据时，co-training 效果比较好。但是效果达到最好时普遍没有使用很多的未标注数据（最多 1000 of 9w）。相对而言 co-training 对单语言分类器提升效果更大一点（En: 74.9876.06, Cn: 77.9878.22）但对复合后的效果提升较小79.88）。这可能是由于 co-training 的过程减小了两个模型之间的差异性，导致的集成效果减弱。

图 2 中显示的是 top n=25，ignore a=150 时效果随迭代轮数的变化。由此可以看到，的确还是在 co-training 开始时效果有一个比较明显的下降的。而且单一语言上的效果提升相对与整体的效果提升而言要更明显一些。

![在这里插入图片描述][3d0b2a5761f34626992a550db8d6f23a.png]

图 2 迭代轮数对 co-training(25-150)效果的影响

考虑到 co-training 方法可能会降低两个模型的差异性，从而降低集成后模型的效果。于是分别对两种语言的模型进行自学习，效果如表 6 所示。在忽略高分的未标注数据时，两种语言的模型的高分数据都会被考虑到（即 ignore a=150 时，两个排名的前 150 名都被忽略），所以这里的 ignore a 相对于表 5 而言比较小。

<table> 
 <thead> 
  <tr> 
   <th>top n</th> 
   <th>ignore a</th> 
   <th>En</th> 
   <th>Cn</th> 
   <th>combine_add</th> 
   <th>iter</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>25</td> 
   <td>0</td> 
   <td>75.31%</td> 
   <td>77.90%</td> 
   <td>79.85%</td> 
   <td>84</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>0</td> 
   <td>75.23%</td> 
   <td>78.20%</td> 
   <td>79.84%</td> 
   <td>27</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>0</td> 
   <td>74.99%</td> 
   <td>77.97%</td> 
   <td>79.67%</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>200</td> 
   <td>0</td> 
   <td>75.30%</td> 
   <td>78.22%</td> 
   <td>79.76%</td> 
   <td>7</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>75</td> 
   <td>75.54%</td> 
   <td>77.61%</td> 
   <td>79.69%</td> 
   <td>74</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>75</td> 
   <td>74.97%</td> 
   <td>77.97%</td> 
   <td>79.67%</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>75</td> 
   <td>75.52%</td> 
   <td>78.14%</td> 
   <td>79.69%</td> 
   <td>13</td> 
  </tr> 
  <tr> 
   <td>200</td> 
   <td>75</td> 
   <td>74.97%</td> 
   <td>77.97%</td> 
   <td>79.66%</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>150</td> 
   <td>75.64%</td> 
   <td>78.66%</td> 
   <td>80.24%</td> 
   <td>74</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>150</td> 
   <td>75.82%</td> 
   <td>78.69%</td> 
   <td>80.34%</td> 
   <td>35</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>150</td> 
   <td>75.84%</td> 
   <td>78.41%</td> 
   <td>80.25%</td> 
   <td>16</td> 
  </tr> 
  <tr> 
   <td>200</td> 
   <td>150</td> 
   <td>75.74%</td> 
   <td>78.12%</td> 
   <td>80.15%</td> 
   <td>10</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>300</td> 
   <td>75.70%</td> 
   <td>78.11%</td> 
   <td>80.05%</td> 
   <td>61</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>300</td> 
   <td>75.63%</td> 
   <td>77.93%</td> 
   <td>80.00%</td> 
   <td>31</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>300</td> 
   <td>75.60%</td> 
   <td>78.09%</td> 
   <td>79.87%</td> 
   <td>15</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>600</td> 
   <td>75.43%</td> 
   <td>78.23%</td> 
   <td>79.81%</td> 
   <td>14</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>1000</td> 
   <td>75.54%</td> 
   <td>77.92%</td> 
   <td>79.77%</td> 
   <td>13</td> 
  </tr> 
 </tbody> 
</table>

表 6 self-training(50-150)效果的影响

对比表 6 和表 5 可以看出，使用 self-training 而不是 co-training 对于提升单一分类器准确率上并没有太大优势，但的确可以增加两种语言分类器之间的差异性从而提升集成后的效果。并且使用 selftraining 通常可以在取得最好效果时利用更多的未标注数据（1750~2\*1750 Vs. 1000）。

图 3 中显示的是 top n=50，ignore a=150 时效果随迭代轮数的变化。Self-training 在训练初期准确率的波动更为明显。

最终的结果汇总见表 7。可以看到，利用了未标注数据的效果显著优于没有利用未标注数据的效果。

最好准确率达到 80.34%，最好的单纯基于中文特征的分类器的准确率达到了 78.69%。

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ChzzXXvU-1663558687507)(https://www.writebug.com/myres/static/uploads/2022/9/19/f973993939218bb2ace473ff44d49919.writebug)\]

图 3 迭代轮数对 self-training 效果的影响

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Book</th> 
   <th>Music</th> 
   <th>DVD</th> 
   <th>Average</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>simple_Cn</td> 
   <td>77.75%</td> 
   <td>77.62%</td> 
   <td>78.53%</td> 
   <td>77.97%</td> 
  </tr> 
  <tr> 
   <td>simple_En</td> 
   <td>75.08%</td> 
   <td>74.58%</td> 
   <td>75.30%</td> 
   <td>74.98%</td> 
  </tr> 
  <tr> 
   <td>simple_combine</td> 
   <td>79.88%</td> 
   <td>79.25%</td> 
   <td>79.90%</td> 
   <td>79.67%</td> 
  </tr> 
  <tr> 
   <td>co-Training_Cn</td> 
   <td>78.83%</td> 
   <td>77.50%</td> 
   <td>78.35%</td> 
   <td>78.22%</td> 
  </tr> 
  <tr> 
   <td>co-Training_En</td> 
   <td>76.33%</td> 
   <td>75.10%</td> 
   <td>76.58%</td> 
   <td>76.00%</td> 
  </tr> 
  <tr> 
   <td>co-Training_combine</td> 
   <td>80.33%</td> 
   <td>79.08%</td> 
   <td>80.25%</td> 
   <td>79.88%</td> 
  </tr> 
  <tr> 
   <td>self-Training_Cn</td> 
   <td>79.08%</td> 
   <td>77.97%</td> 
   <td>79.03%</td> 
   <td>78.69%</td> 
  </tr> 
  <tr> 
   <td>self-Training_En</td> 
   <td>76.50%</td> 
   <td>74.60%</td> 
   <td>76.35%</td> 
   <td>75.82%</td> 
  </tr> 
  <tr> 
   <td>self-Training_combine</td> 
   <td>80.67%</td> 
   <td>79.67%</td> 
   <td>80.67%</td> 
   <td>80.34%</td> 
  </tr> 
 </tbody> 
</table>

表 7 结果汇总

|78.69% |  
| self-Training\_En |76.50% |74.60% |76.35% |75.82% |  
| self-Training\_combine |80.67% |79.67% |80.67% |80.34% |

表 7 结果汇总

[3d5501a4fedd41a48216fe8ca75c7486.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/80ca1dddafdb4915b1b5c9106da3f60c.png
[6d14d1d7a41d4fe7829b05165ad15206.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a2d9de9e8ff342cb9ba6cfec674b5f76.png
[3d0b2a5761f34626992a550db8d6f23a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b66d7497504c4e78a824ae51b2b51c63.png