标题分词思路

Dear 丶 2022-09-18 04:00 35阅读 0赞

近来公司安排做中文分词的项目，找了一些资料。做了前期的一些代码，贴出来总结一下。

分词开发思路

标题：林德璋PK Martin：“RUP是楷书，XP是草书”对吗？

步骤一：先将一些不能组成词汇的字符剔除。  
String arrayChineseRemove\[\] = \{  
"的","吗","么","啊","说","对","在","和","是",  
"被","最","所","那","这","有","将","会","与",  
"於","于","他","她","它","您","为","欢迎"  
\};  
当前字符串形态：林德璋PK Martin：“RUP楷书，XP草书”？

=============================================================

步骤二：将英文单词匹配出来列入数组，并将原英文单词的位置用空格符替换。  
Pattern Epattern = Pattern.compile("//d+.//d|//w+//d+.//d|//w+//-//w+|//w+");  
Matcher Ema = Epattern.matcher(str);  
while(Ema.find())\{  
eWord.add(Ema.group());  
str = str.replace(Ema.group(), " ");  
\}  
当前字符串形态：林德璋 ：“ 楷书， 草书”？  
英文数组 \[PK,Martin,RUP,XP\]

=============================================================

步骤三：将剩下的字符串合并，并将多余的空格及符号剔除。  
Pattern Cpattern = Pattern.compile("\[//u4e00-//u9fa5\]|//s");  
Matcher Cma = Cpattern.matcher(str);  
while(Cma.find())\{  
if (!(Cma.group().equals(" ") && isSpace.equals(" ")))\{  
cWord = cWord + Cma.group().toString();  
isSpace = Cma.group();  
\}  
\}  
当前字符串形态：林德璋 楷书 草书

=============================================================

步骤四：将字符串采用中文分词思路，组成可用单词，并列入数组。 （未完成）

·················

当前字符串形态：林德璋  
中文组数\[楷书,草书\]

=============================================================

步骤五：用正向或者反向匹配算法查询字符串。 （未完成）

·················

发表评论取消回复

表情：

评论列表（有 0 条评论，35人围观）

还没有评论，来说两句吧...

相关阅读

相关 Word多级标题出现黑块的解决思路

1.问题背景在写word文档的过程中，今天打开突然发现四级标题出现了黑块的情况。 ![20200408093628422.png][] 2.问题排查 2.1

浅浅的花香味﹌/ 2023年07月23日 13:00/ 0 赞/ 41 阅读

相关分词器

分词是把全文本拆分成一系列单词的过程。分词器是用来实现分词的，分词器由三部分组成：字符过滤器、分词器和Token过滤器，字符过滤器：对原始文本进行过滤；分词器：按照一定规则

淡淡的烟草味﹌/ 2022年12月15日 03:42/ 0 赞/ 248 阅读

相关 jieba分词

1分词 `jieba.cut` 方法接受三个输入参数: 需要分词的字符串；cut\_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型

约定不等于承诺〃/ 2022年09月24日 08:27/ 0 赞/ 244 阅读

相关标题分词思路

近来公司安排做中文分词的项目，找了一些资料。做了前期的一些代码，贴出来总结一下。分词开发思路标题：林德璋PK Martin：“RUP是楷书，XP是草书”对吗？

Dear 丶/ 2022年09月18日 04:00/ 0 赞/ 36 阅读

相关 jieba分词

参考文章：[Github上的项目———jieba][Github_jieba] 中文分词对于NLP（自然语言处理）来说，分词是一步重要的工作，市面上也有各种分词库，[

冷不防/ 2022年05月15日 02:48/ 0 赞/ 328 阅读

相关 Java中文分词组件 - word分词

目录 API在线文档：编译好的jar包下载（包含依赖）： Maven依赖：分词使用方法：分词算法效果评估：相关文章： ------------------

落日映苍穹つ/ 2022年03月20日 03:50/ 0 赞/ 478 阅读

相关中文分词之jieba分词

分词粒度：粗粒度、细粒度推荐场景：粗粒度搜索场景：细粒度——召回 1.最基本的切词方法： trie树匹配：前向、后向，举例： ![watermark_t

超、凢脫俗/ 2022年03月16日 15:22/ 0 赞/ 469 阅读

相关标题

知识点标题演示内容一级标题六级标题一级标题 === 二级标题 -

迈不过友情╰/ 2021年12月17日 02:21/ 0 赞/ 282 阅读

相关标题

1. test 1.1 test2 1.1.1 test3 特殊 2.test 2.1 特殊 2.1.1 EST test 转载于:ht

喜欢ヅ旅行/ 2021年11月10日 04:24/ 0 赞/ 336 阅读

相关中文分词

[http://www.52nlp.cn/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E5%85%A5%E9%97%A8%E4%B9%8B%E5%

朱雀/ 2021年10月23日 16:16/ 0 赞/ 660 阅读