系统学习NLP（二十六）--NBSVM

清疚 2023-06-18 05:54 24阅读 0赞

论文：[Baselines and Bigrams: Simple, Good Sentiment and Topic Classification][Baselines and Bigrams_ Simple_ Good Sentiment and Topic Classification]

参考：[https://blog.csdn.net/leayc/article/details/80037757][https_blog.csdn.net_leayc_article_details_80037757] 跟原文有一定差异，理解不一致。

朴素贝叶斯(Naive Bayes, NB)和支持向量机(Support Vector Machines, SVM)的变体常被用作文本分类的基线方法，但它们的性能因模型变体、使用的特性和任务/数据集的不同而有很大差异。Sida Wang 和 Christopher D. Manning基于两种算法的特质，**提出了NBSVM算法**，实验证明，NBSVM在情绪分析数据集上优于大多数算法的结果，甚至**有时能达到start-of-the-art**,因此在文本分类中常被作为一个有用的baseline。

整体思想是把 NB 和 SVM 的长处综合一下，构造一个简单的线性模型。在几个情感分析的数据集上结合 bigram 得到的效果不错。

方法也很简单，就是用 NB 和 SVM 的思想来构造一个线性分类器：

![y^\{(k)\} = sign(w^Tx^\{(k)\} + b)][y_k_ _ sign_w_Tx_k_ _ b]

具体可以拆解成四个部分：

1. 构造权重向量 r：

![r = \\log(\\frac\{p/||p||\_1\}\{q/||q||\_1\})][r _ _log_frac_p_p_1_q_q_1]

其中，![p = \\alpha + \\sum\_\{i:y^\{(i)\} = 1\} f^\{(i)\}][p _ _alpha _ _sum_i_y_i_ _ 1_ f_i],![q = \\alpha + \\sum\_\{i: y^\{(i)\} = -1\} f^\{(i)\}][q _ _alpha _ _sum_i_ y_i_ _ -1_ f_i]α是平滑系数，防止0的情况出现,![f\_j^\{(i)\}][f_j_i]是第 i个样本的特征向量的第 j个特征出现的次数。这样求出的向量 r称为 log-count ratio,其实就是类似WOE、

简单来说就是求正负样本上所有特征出现的频率的比值的对数。这就是模型中的 NB 部分，只不过对二分类问题用正负样本特征的频率比直接替代了分别求概率然后比较的步骤。

注意：把log里面的比例项，在贝叶斯理论里，叫做贝叶斯因子，衡量的一个理论优于另一个理论的相对确证性，也是似然概率的比值，所以，这里的log-count ratio计算出的权重向量，衡量的是整体的训练集上数据x支持正样本的概率是支持负样本的概率的倍数。这个比例取log后，就是评分卡里的WOE,即证据权重。  
2. 多项式 NB

在 MNB 中![x^\{(k)\} = f^\{(k)\}][x_k_ _ f_k],w = r, ![b = \\log(N\_+/N\_-)][b _ _log_N_N_-],两个 N 分别是正样本和负样本的数量。作者补充说另一篇文献发现二值化的 f(k)效果更好，所以 f(k)可以做个二值化。多项式的意思的是似然函数中服从多项式分布。

3. SVM  
把带 L2 约束的 SVM 的优化目标函数写出来：

![w^Tw + C\\sum\_i \\max(0, 1-y^\{(i)\}(w^T\\hat\{f\}^\{(i)\} + b))^2][w_Tw _ C_sum_i _max_0_ 1-y_i_w_T_hat_f_i_ _ b_2]

经验证 L2-loss 比 L1-loss 表现好，而且稳定(这个哪里需要验证啊？理论就可以得到这个结论)。实现时使用了 LibLinear 库。

4. SVM + NB features  
怎么把 NB 和 SVM 搓到一起的呢？  
目标函数还是 SVM 的 L2-loss，但 x(k)这里变成了 r̂ ∘f^(k)。这个圈表示对应位置元素相乘，即所谓的 element-wise product，实际上就是二值化后的输入又加入了 NB 分类权重。其实就是MNB特征，即上面红色部分的NB权重跟原始特征做加权，得到MNB特征，这么做，有利于长文本分类，作者说还可以在 MNB 和 SVM 间做个均衡：

![w' = (1-\\beta) \\bar\{w\} + \\beta w][w_ _ _1-_beta_ _bar_w_ _ _beta w]

![\\bar\{w\} = \\left \\| w \\right \\|\_\{1\}/\\left | V \\right |][bar_w_ _ _left _ w _right _1_left _ V _right]，这里意思是SVM得到的支持向量（用于区分正负的特征）在所有特征集上的比例，与上面似然比一样的道理，β 称为内插参数，可以理解为一种正则化：相信 NB 的判断，除非 SVM 置信度非常高。

[Baselines and Bigrams_ Simple_ Good Sentiment and Topic Classification]: https://nlp.stanford.edu/pubs/sidaw12_simple_sentiment.pdf
[https_blog.csdn.net_leayc_article_details_80037757]: https://blog.csdn.net/leayc/article/details/80037757
[y_k_ _ sign_w_Tx_k_ _ b]: https://private.codecogs.com/gif.latex?y%5E%7B%28k%29%7D%20%3D%20sign%28w%5ETx%5E%7B%28k%29%7D%20&plus;%20b%29
[r _ _log_frac_p_p_1_q_q_1]: https://private.codecogs.com/gif.latex?r%20%3D%20%5Clog%28%5Cfrac%7Bp/%7C%7Cp%7C%7C_1%7D%7Bq/%7C%7Cq%7C%7C_1%7D%29
[p _ _alpha _ _sum_i_y_i_ _ 1_ f_i]: https://private.codecogs.com/gif.latex?p%20%3D%20%5Calpha%20&plus;%20%5Csum_%7Bi%3Ay%5E%7B%28i%29%7D%20%3D%201%7D%20f%5E%7B%28i%29%7D
[q _ _alpha _ _sum_i_ y_i_ _ -1_ f_i]: https://private.codecogs.com/gif.latex?q%20%3D%20%5Calpha%20&plus;%20%5Csum_%7Bi%3A%20y%5E%7B%28i%29%7D%20%3D%20-1%7D%20f%5E%7B%28i%29%7D
[f_j_i]: https://private.codecogs.com/gif.latex?f_j%5E%7B%28i%29%7D
[x_k_ _ f_k]: https://private.codecogs.com/gif.latex?x%5E%7B%28k%29%7D%20%3D%20f%5E%7B%28k%29%7D
[b _ _log_N_N_-]: https://private.codecogs.com/gif.latex?b%20%3D%20%5Clog%28N_&plus;/N_-%29
[w_Tw _ C_sum_i _max_0_ 1-y_i_w_T_hat_f_i_ _ b_2]: https://private.codecogs.com/gif.latex?w%5ETw%20&plus;%20C%5Csum_i%20%5Cmax%280%2C%201-y%5E%7B%28i%29%7D%28w%5ET%5Chat%7Bf%7D%5E%7B%28i%29%7D%20&plus;%20b%29%29%5E2
[w_ _ _1-_beta_ _bar_w_ _ _beta w]: https://private.codecogs.com/gif.latex?w%27%20%3D%20%281-%5Cbeta%29%20%5Cbar%7Bw%7D%20&plus;%20%5Cbeta%20w
[bar_w_ _ _left _ w _right _1_left _ V _right]: https://private.codecogs.com/gif.latex?%5Cbar%7Bw%7D%20%3D%20%5Cleft%20%5C%7C%20w%20%5Cright%20%5C%7C_%7B1%7D/%5Cleft%20%7C%20V%20%5Cright%20%7C