基于java实现的分词以及词频统计，准备制作词云数据

素颜马尾好姑娘i 2023-10-06 10:36 19阅读 0赞

需求是统计一篇文章、一段话中各种词汇出现的次数，比如有一篇文章如下：[为维护人民健康提供有力保障][Link 1]，希望统计文章中的高频词，如下结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ_size_16_color_FFFFFF_t_70]  
难点在于分词，例如这段换：`工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作`,如果分的不好，那会十分的尴尬！！！  
  
找了很多工具，在网上发现一个比较合适的分词算法，且是用java实现的，经过简单改动，实现了功能，代码放在gitee上，地址：[https://gitee.com/langhu/jieba-analysis-mend][https_gitee.com_langhu_jieba-analysis-mend]

导下项目后长这个样子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ_size_16_color_FFFFFF_t_70 1]  
直接运行`com.qianxinyao.analysis.jieba.keyword`包下的`main`方法即可  
  
问题：在这个工具中，通过训练过的算法，给出了很多词汇切割的标准，但发现有些新词汇，特别是专有词汇它并不能很好的识别，比如文中的**新冠肺炎**，它就拆成了**新冠**和**肺炎**，这个怎么处理呢？  
  
  
1、要么你去训练算法，如果你牛。  
  
  
2 直接改分词规则（可能会破坏算法的合理性），**我不牛，所以我改**  
  
怎么改，肯定不能瞎改，找到dict.txt，找一个和你要统计的词汇，在拼音顺序上差不多的词，直接按照它的格式来，如下：我想加一个`新冠肺炎`，于是找到了它的邻居`新官`，没的说，复制`新官`改成`新冠肺炎`，再试一下截图如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ_size_16_color_FFFFFF_t_70 2]

[Link 1]: http://politics.people.com.cn/n1/2020/0606/c1001-31737282.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200606181355566.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ==,size_16,color_FFFFFF,t_70
[https_gitee.com_langhu_jieba-analysis-mend]: https://gitee.com/langhu/jieba-analysis-mend
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200606182127609.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200606182701512.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlaXN1cmVfbGlmZQ==,size_16,color_FFFFFF,t_70