生成文本聚类java实现 (1)

末蓝、 2022-05-17 08:23 137阅读 0赞

本文转自[http://www.iteye.com/topic/989012][http_www.iteye.com_topic_989012]

[https://blog.csdn.net/jasontome/article/details/7933618][https_blog.csdn.net_jasontome_article_details_7933618]

本文章纯属个人学习笔记,持续不断的增加中...

本章主要的学习是**中文分词** 和**两种统计词频(传统词频和TF-IDF算法 )** 的方法.

学习目的:**通过N多的新闻标题 or 新闻摘要 or 新闻标签,生成基本的文本聚类,以便统计当天新闻的热点内容.**

扩展:可以运用到文本分类 ,舆情分析 等.

基本的学习思路:(本思路由网友rowen指点)

Java代码 [![复制代码][icon_copy.gif]][icon_copy.gif 1] [![收藏代码][icon_star.png]![spinner.gif][]][https_blog.csdn.net_jasontome_article_details_7933618]

1.  1.准备文本   
2.  2.切词并统计词频   
3.  3.去掉极低频词和无意义词（如这个、那个、等等）   
4.  4.从剩余的词中提取文本特征，即最能代表文本的词   
5.  5.用空间向量表示文本，空间向量需标准化，即将数值映射到-1到1之间   
6.  6.利用所获取的空间向量进行聚类分析   
7.  7.交叉验证

[http_www.iteye.com_topic_989012]: http://www.iteye.com/topic/989012
[https_blog.csdn.net_jasontome_article_details_7933618]: https://blog.csdn.net/jasontome/article/details/7933618
[icon_copy.gif]: http://www.iteye.com/images/icon_copy.gif
[icon_copy.gif 1]: http://www.iteye.com/topic/989012#
[icon_star.png]: http://www.iteye.com/images/icon_star.png
[spinner.gif]: /images/20220517/49e8563fb61d4354af0a56b2a1c3f492.png

发表评论取消回复

表情：

评论列表（有 0 条评论，137人围观）

还没有评论，来说两句吧...

相关阅读

相关尝试用bert做文本聚类

尝试用bert做文本聚类以前文本聚类多以TF-IDF构建词权重的方法进行，在本文中尝试用bert提取的向量做文本聚类。对于bert模型，尝试提取不同层的特征，尝试对be

偏执的太偏执、/ 2023年02月17日 13:26/ 0 赞/ 122 阅读

相关文本分类/聚类

预处理删除标点符号 [python进行删除标点符号][python] text=u'''职位描述乐视招聘android自动化测试工

我会带着你远行/ 2022年09月21日 05:50/ 0 赞/ 281 阅读

相关 Openlayer实现聚类

基本用法效果图： ![20210813170726180.gif][] 实现代码： <template> <div id="map" styl

小咪咪/ 2022年09月04日 11:53/ 0 赞/ 199 阅读

相关文本聚类总结

摘要：文本聚类是搜索引擎和语义web的基本技术，这次本蛙和大家一起学习一下简单的文本聚类算法，可能不能直接用于实际应用中，但对于想学搜索技术的初学者还是有一定入门作用

柔光的暖阳◎/ 2022年05月24日 01:38/ 0 赞/ 211 阅读

相关生成文本聚类java实现 (1)

本文转自[http://www.iteye.com/topic/989012][http_www.iteye.com_topic_989012] [https://blog.

末蓝、/ 2022年05月17日 08:23/ 0 赞/ 138 阅读

相关 pyhanlp 文本聚类详细介绍

文本聚类文本聚类简单点的来说就是将文本视作一个样本，在其上面进行聚类操作。但是与我们机器学习中常用的聚类操作不同之处在于。我们的聚类对象不是直接的文本本身，而是文本提取

深碍√TFBOYSˉ_/ 2022年04月21日 16:30/ 0 赞/ 200 阅读

相关聚类算法之CHAMELEON(Java实现)

CHAMELEON是一种两阶段聚类法。第一阶段把点分成很多小的簇；第二阶段根据相近程度合并这些小的簇。第一阶段采用K最邻近法，即把一个点和它最邻近的K个点连接起来。第二阶段计算

朱雀/ 2022年01月16日 12:01/ 0 赞/ 152 阅读

相关聚类算法之CHAMELEON(Java实现)

CHAMELEON是一种两阶段聚类法。第一阶段把点分成很多小的簇；第二阶段根据相近程度合并这些小的簇。第一阶段采用K最邻近法，即把一个点和它最邻近的K个点连接起来。第二阶段计算

清疚/ 2022年01月16日 12:01/ 0 赞/ 182 阅读

相关聚类算法之BIRCH（Java实现）

BIRCH（Balanced Iterative Reducing and Clustering using Hierarchies）天生就是为处理超大规模（至少要让你的内存容

青旅半醒/ 2022年01月16日 10:47/ 0 赞/ 180 阅读

相关（转载）文本聚类算法分析

出处：[http://blog.csdn.net/uestcfrog/article/details/6875984][http_blog.csdn.net_uestcfro

柔情只为你懂/ 2021年10月15日 10:25/ 0 赞/ 338 阅读