文本相似性热度统计(python版)

淩亂°似流年 2023-07-06 06:18 31阅读 0赞

### 0. 写在前面 ###

节后第一篇，疫情还没结束，黎明前的黑暗，中国加油，武汉加油，看了很多报道，发现只有中国人才会帮助中国人，谁说中国人一盘散沙？也许是年龄大了，看到全国各地的医务人员源源不断的告别家人去支援湖北，看到医务人员、肺炎病人的故事，总会忍不住落泪，中国加油，中国人加油！

### 1. 场景描述 ###

背景不写了，只谈技术，做的是文本相似性统计，因需要从文本描述性信息中分析同类信息，以便后续重点关注，数据量比较大，大概20多万，人工效率低，需要算法来实现。

根据需求要从不同维度进行统计：

（1）分组不分句热度统计（根据某列首先进行分组，然后再对描述类列进行相似性统计）；  
（2）分组分句热度统计（根据某列首先进行分组，然后对描述类列按照标点符号进行拆分，然后再对这些句进行热度统计）;  
（3）整句及分句热度统计；（对描述类列/按标点符号进行分句，进行热度统计）  
（4）热词统计（对描述类类进行热词统计，反馈改方式做不不大）

### 2. 解决方案 ###

在网上以及和同事都验证了很多不同实现方案，具体过程就不说了，对比下来，jieba+gensim效果最好。

**算法实现介绍**：

（1）输入文件是excel，数据大概20多万，首先通过pandas获取excel信息，通过jieba分词进行处理，jieba分词要首先自定义词典以及排除信息，这样效果会差异很大，然后形成一个二维数组。  
（2）使用gensim 中的corpora模块，将分词形成后的二维数组生成词典  
（3）将二维数组通过doc2bow稀疏向量，形成语料库  
（4）刚开始使用TF模型算法，后来更改为：LsiModel模型算法，将语料库计算出Tfidf值。  
（5）获取词典token2id的特征数  
（6）计算稀疏矩阵相似度，建立一个索引  
（7）读取excel行数据，通过jieba进行分词处理  
（8）通过doc2bow计算测试数据的稀疏向量  
（9）求得测试数据与样本数据的相似度

**算法说明：**

（1）这里有个点，7-9步会循环执行，针对文档描述列中的每一行，会与在第六步中创建的索引就行比对，会统计与该行相似性超过50%的行数据，同时会将统计到的数据增加个数组中，后续不再执行比对，以免重复统计。  
（2）第一步jieba算法中会用到专业术语词典及stop词典等，7-9部会循环执行，目前相似度阈值设置的为：50%，另外excel操作就不多说了（增加了汇总起来清单的超链，可以导航到清单）  
（3）效率上，20多万的数据，因需要转换向量，大概需要20来分钟。  
（4）大的算法发是这样的，下一篇再开始上代码，针对不同需求，进行介绍。

--------------------

**更多知识请关注公众号：「软件老王」**，IT技术与相关干货分享，回复关键字获取对应干货，**java**，送必看的10本“武功秘籍”；**图片**，送100多万张可商用高清图片；**面试**，送刚毕业就能月薪“20k”的java面试题，后续不断更新中，比如“**软考**”、“**工具**”等，已经在整理中。

![在这里插入图片描述][20200918154804757.jpg_pic_center]

[20200918154804757.jpg_pic_center]: https://img-blog.csdnimg.cn/20200918154804757.jpg#pic_center