Lucene源码(二)：文本相似度TF-IDF原理

痛定思痛。 2023-07-25 09:07 21阅读 0赞

Lucene中TF-IDF的计算公式与普通的TF-IDF不一样。学习之后，感觉Lucene的计算方法更加合理，考虑得更加周全。  
![在这里插入图片描述][20200413213223207.png]  
q：query，即搜索内容，例如：github

d：document，即文档内容，例如：i like github

即我们的搜索内容"github"跟文档内容"i like github"的TF-IDF值（相似度）。TF-IDF值越高，搜索的内容与文档的匹配度越高。

t：term，对query进行分词之后的单词

tf：文档中出现单词t的频次  
![在这里插入图片描述][20200413213248803.png]  
numDocs：总的文档数量

docFreq：含有单词t的文档数量  
![在这里插入图片描述][20200413213301281.png]  
t.getBoost()：单词t的权重，即单词t的重要性

norm(t,d)：文档长度加权因子，它的作用就是提高短文档的分数，降低长文档的分数。

f.boost()：索引字段f的权重即重要性  
![在这里插入图片描述][20200413213310278.png]  
coord(q, d)：搜索内容query分词之后有n个单词，文档中出现了n个单词中的m个，那么coord(q, d) = m / n

queryNorm：归一化因子，让不同的query的IF-IDF分数可以进行比较。  
![在这里插入图片描述][20200413213321661.png]  
![在这里插入图片描述][20200413213331790.png]  
q.getBoost()：与上面的同理，当前query的重要性/权重

欢迎关注同名公众号：“我就算饿死也不做程序员”。  
交个朋友，一起交流，一起学习，一起进步。  
![在这里插入图片描述][20200430115031447.jpg]

[20200413213223207.png]: /images/20230528/924ee9d332694d02b8088ee095830b17.png
[20200413213248803.png]: /images/20230528/08a0ad8e177641d9a9ad36457b49b457.png
[20200413213301281.png]: /images/20230528/7278515788834415abee4f0d35af22b8.png
[20200413213310278.png]: /images/20230528/20e9d8b161f94011a062b5606a82ce3e.png
[20200413213321661.png]: /images/20230528/300f730cd19c4754bb283045093f10c2.png
[20200413213331790.png]: /images/20230528/62a893311fc0435ea5eccfa481b97c57.png
[20200430115031447.jpg]: /images/20230528/552e732ff782479e833c7660d7f8aaa0.png