如何在java中去除中文文本的停用词

小鱼儿 2022-01-12 23:13 281阅读 0赞

**1.  整体思路**

第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。

第二步：使用停用词表，去除分好的词中的停用词。

**2.  中文文本分词环境配置**

使用的HanLP-汉语言处理包进行中文文本分词。

·HanLP-汉语言处理包下载，可以去github上下载

·HanLP 的环境配置有两种方式：方式一、Maven；方式二、下载jar、data、hanlp.properties。

·官方环境配置步骤也可以在github上查询到。

·环境配置好后，java使用HanLP进行中文分词文档如下：hanlp.linrunsoft.com/doc.html

**3.  下载停用词表**

停用词表可以去百度或者其他搜索引擎检索一份，很容易就找到！

**4.  去除停用词工具类**

使用这个工具类的之前，请先完成中文文本分词环境配置，并测试一下。停用词 .txt 文件路径请修改为自己的本地路径。

![图1.jpg][1.jpg]

**5.  工具类测试**

**5.1  测试代码**

public class test \{

public static void main(String args\[\]) \{

try \{

System.out.println(FormatUtil.RemovalOfStopWords("床前明月光，疑是地上霜。举头望明月，低头思故乡。"));

\} catch (IOException e) \{

e.printStackTrace();

\}

\}

**5.2  测试结果**

![图2.jpg][2.jpg]

转载于:https://blog.51cto.com/13993767/2386445

[1.jpg]: https://s1.51cto.com/images/20190429/1556505930267288.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[2.jpg]: https://s1.51cto.com/images/20190429/1556505942892289.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

发表评论取消回复

表情：

评论列表（有 0 条评论，281人围观）

还没有评论，来说两句吧...

相关阅读

相关 IK分词器扩展词停用词

IK Analyzer 扩展配置

叁歲伎倆/ 2024年05月05日 07:48/ 0 赞/ 30 阅读

相关 ElasticSearch（七）【扩展词、停用词配置】

七、扩展词、停用词配置 -------------------- 上一篇文章《[ElasticSearch - 分词器][ElasticSearch -]》 IK支持

╰半橙微兮°/ 2024年04月06日 10:34/ 0 赞/ 28 阅读

相关 Python 中文分词并去除停用词

import jieba 创建停用词list def stopwordslist(filepath): st

偏执的太偏执、/ 2023年08月17日 16:46/ 0 赞/ 78 阅读

相关如何在Windows上停用Hyper-V

如何在Windows上停用Hyper-V -------------------- 如何在Windows上停用Hyper-V? 以下影片顯示了如何在Windows

╰半夏微凉°/ 2022年10月16日 16:23/ 0 赞/ 234 阅读

相关去除文本中的html代码

有一些网站中存在不能复制的文本，这种时候就只能用F12开发者工具来复制源代码，源代码中总是存在着html标签，自己很难去掉，所以我写了这个代码，跟大家一起交流 imp

梦里梦外;/ 2022年05月25日 20:46/ 0 赞/ 293 阅读

相关自然语言处理(英文停用词删除) Java程序

本文作者：合肥工业大学管理学院钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。英文语料预处理针对英语语料预处理时，我们经常要

妖狐艹你老母/ 2022年05月22日 03:13/ 0 赞/ 193 阅读

相关 jieba分词，去除停用词并存入txt文本

代码如下，[停用词获取][Link 1] 密码：zpso -- coding: utf-8 -- import jieba import jie

- 日理万妓/ 2022年05月15日 06:54/ 0 赞/ 277 阅读

相关 HanLP无法动态加载停用词，无法重载停用词的自定义处理

在使用HanLP框架的过程中，发现其内置的CoreStopWordDictionary类只有删除、添加方法，没有动态的重载。而项目的需求确实可以动态加载，用他内置的方法去全删掉

╰+哭是因爲堅強的太久メ/ 2022年04月10日 03:14/ 0 赞/ 433 阅读

相关如何在java中去除中文文本的停用词

1. 整体思路第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。第二步：使用停用词表，去除分好的词中的停用词。 2. 中文文

小鱼儿/ 2022年01月12日 23:13/ 0 赞/ 282 阅读

相关 jieba分词和去停用词

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又

心已赠人/ 2021年09月22日 08:54/ 0 赞/ 494 阅读