使用gensim计算文本相似度
使用gensim计算文本相似度
计算文本相似度步骤逻辑
1、将文本数据，通过jieba分词进行处理，形成一个二维数组
2、将二维数组生成词典
3、将二维数组通过doc2bow稀疏向量，形成语料库
4、使用TF模型算法，将语料库计算出Tfidf值
5、获取词典token2id的特征数
6、计算稀疏矩阵相似度，建立一个索引
7、测试数据jieba分词处理
8、通过doc2bow计算测试数据的稀疏向量
9、求得测试数据与样本数据的相似度
代码如下：
import jiebafrom gensim import corpora, models, similaritiesif __name__ == '__main__':base_data = ["好雨知时节，当春乃发生。随风潜入夜，润物细无声。野径云俱黑，江船火独明。晓看红湿处，花重锦官城。","君问归期未有期，巴山夜雨涨秋池。何当共剪西窗烛，却话巴山夜雨时。","莫听穿林打叶声，何妨吟啸且徐行。竹杖芒鞋轻胜马，谁怕？一蓑烟雨任平生。料峭春风吹酒醒，微冷，山头斜照却相迎。回首向来萧瑟处，归去，也无风雨也无晴。","天街小雨润如酥，草色遥看近却无。最是一年春好处，绝胜烟柳满皇都。","古木阴中系短篷，杖藜扶我过桥东。沾衣欲湿杏花雨，吹面不寒杨柳风。","少年听雨歌楼上。红烛昏罗帐。壮年听雨客舟中。江阔云低、断雁叫西风。 而今听雨僧庐下。鬓已星星也。悲欢离合总无情。一任阶前、点滴到天明。","雨里鸡鸣一两家，竹溪村路板桥斜。妇姑相唤浴蚕去，闲看中庭栀子花。","一夕轻雷落万丝，霁光浮瓦碧参差。有情芍药含春泪，无力蔷薇卧晓枝。"]# 1.将base_data中的数据进行遍历后分词base_items = [[i for i in jieba.lcut(item)] for item in base_data]print(base_items)# 2.生成词典dictionary = corpora.Dictionary(base_items)# 3.通过doc2bow稀疏向量生成语料库corpus = [dictionary.doc2bow(item) for item in base_items]# 4.通过TF模型算法，计算出tf值tf = models.TfidfModel(corpus)# 5.通过token2id得到特征数（字典里面的键的个数）num_features = len(dictionary.token2id.keys())# 6.计算稀疏矩阵相似度，建立一个索引index = similarities.MatrixSimilarity(tf[corpus], num_features=num_features)# 7.处理测试数据test_text = "风雨凄凄，鸡鸣喈喈。既见君子，云胡不夷。风雨潇潇，鸡鸣胶胶。既见君子，云胡不瘳。风雨如晦，鸡鸣不已。既见君子，云胡不喜。"test_words = [word for word in jieba.cut(test_text)]print(test_words)# 8.新的稀疏向量new_vec = dictionary.doc2bow(test_words)# 9.算出相似度sims = index[tf[new_vec]]print(list(sims))
计算出的结果：
[0.012518234, 0.006028821, 0.013035861, 0.0059479754, 0.0058894763, 0.0, 0.25966725, 0.0064892126]
傷城~
梦里梦外;
左手的ㄟ右手
灰太狼
还没有评论，来说两句吧...