Java 最长匹配算法_最大匹配分词算法怎么在Java项目中实现

灰太狼 2022-11-06 04:50 111阅读 0赞

最大匹配分词算法怎么在Java项目中实现

发布时间：2020-12-05 16:11:30

来源：亿速云

阅读：67

作者：Leah

最大匹配分词算法怎么在Java项目中实现？针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

全文检索有两个重要的过程：

1分词

2倒排索引

我们先看分词算法

目前对中文分词有两个方向，其中一个是利用概率的思想对文章分词。 也就是如果两个字，一起出现的频率很高的话，我们可以假设这两个字是一个词。这里可以用一个公式衡量：M(A,B)=P(AB)/P(A)P(B)，其中 A表示一个字，B表示一个字，P(AB)表示AB相邻出现的概率，P(A)表示A在这篇文章中的频度，P(B)表示B在这篇文章中的频度。用概率分词的好 处是不需要借助词典的帮助，坏处是算法比较麻烦，效率不高，也存在一定的出错率。

另外的一个方向是使用词典分词。就是事先为程序准备一个词典，然后通过这个词典对文章分词。目前较流行的方式有正向最大匹配算法和逆向最大匹配算法。逆向最大匹配算法在准确性上要更好一些。

以 “我是一个坏人” 为例，并最大词长为３，词库包含有　我、是、一、个、一个、坏人、大坏人

正向的顺序为

我是一

我是

我 ===> 得到一个词

是一个

是一

是 ===>得到一个词

一个坏

一个===> 得到一个词

坏人===>得到一个词

结果 我、是、一个、坏人

反向算法

个坏人

坏人==> 坏人

是一个

一个==> 一个

我是

是==> 是

我==> 我

结果 我、是、一个、坏人

java代码如下

package data;

import java.util.Arrays;

import java.util.HashSet;

import java.util.Set;

/\*\*

\* 最大匹配分词算法

\* @author JYC506

\*/

public class SplitString \{

private Set set = new HashSet();

private int positiveOver = 0;

private int reverseOver = 0;

/\*\*

\* 正向最大匹配

\* @param str 要分词的句子

\* @param num 词的最大长度

\* @return

\*/

public String\[\] positiveSplit(String str, int maxSize) \{

int tem = 0;

int length = str.length();

String\[\] ss = new String\[length\];

char\[\] cc = str.toCharArray();

for (int i = 0; i < length; i++) \{

positiveOver = 0;

String sb = this.toStr(cc, i, maxSize);

ss\[tem++\] = sb;

i = i + positiveOver;

String\[\] ss2 = new String\[tem\];

System.arraycopy(ss, 0, ss2, 0, tem);

return ss2;

/\*\*

\* 添加词库

\* @param words

\*/

public void addWord(String\[\] words) \{

for (String st : words) \{

this.set.add(st);

/\*\*

\* 逆向最大匹配

\* @param str

\* @param num

\* @return

\*/

public String\[\] reverseSplit(String str, int num) \{

int tem = 0;

int length = str.length();

String\[\] ss = new String\[length\];

char\[\] cc = str.toCharArray();

for (int i = str.length() - 1; i > -1; i--) \{

reverseOver = 0;

String sb = this.toStr2(cc, i, num);

tem++;

ss\[--length\] = sb;

i = i - reverseOver;

String\[\] ss2 = new String\[tem\];

System.arraycopy(ss, str.length() - tem, ss2, 0, tem);

return ss2;

private String toStr(char\[\] cs, int start, int num) \{

int num2 = num;

out: for (int j = 0; j < num; j++) \{

StringBuffer sb = new StringBuffer();

for (int i = 0; i < num2; i++) \{

if (start + i < cs.length) \{

sb.append(cs\[start + i\]);

\} else \{

num2--;

j--;

continue out;

if (set.contains(sb.toString())) \{

positiveOver = num2 - 1;

return sb.toString();

num2--;

return String.valueOf(cs\[start\]);

private String toStr2(char\[\] cs, int start, int num) \{

int num2 = num;

for (int j = 0; j < num; j++) \{

StringBuffer sb = new StringBuffer();

for (int i = 0; i < num2; i++) \{

int index = start - num2 + i + 1;

if (index > -1) \{

sb.append(cs\[index\]);

\} else \{

num2--;

if (set.contains(sb.toString())) \{

reverseOver = num2 - 1;

return sb.toString();

num2--;

return String.valueOf(cs\[start\]);

public static void main(String\[\] args) \{

String\[\] words = new String\[\] \{ "我们", "我们五人", "五人一组", "一组" \};

SplitString ss = new SplitString();

/\*添加词到词库\*/

ss.addWord(words);

String st = "我们五人一组";

System.out.println("亿速云测试结果：");

System.out.println("要分词的句子：" + st);

/\*使用两种方式分词，下面我指定最大词长度为4\*/

String\[\] ss2 = ss.reverseSplit(st, 4);

String\[\] ss1 = ss.positiveSplit(st, 4);

System.out.println("正向最大匹配分词算法分词结果：" + Arrays.toString(ss1));

System.out.println("逆向最大匹配分词算法分词结果：" + Arrays.toString(ss2));

关于最大匹配分词算法怎么在Java项目中实现问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注亿速云行业资讯频道了解更多相关知识。

Java 最长匹配算法_最大匹配分词算法怎么在Java项目中实现

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关搜索引擎--范例：中英文混杂分词算法的实现--正向最大匹配算法的原理和实现...

相关中文分词算法：逆向最大匹配法

相关分词（Word Segmentation）-最大匹配算法

相关 Java 最长匹配算法_最大匹配分词算法怎么在Java项目中实现

相关二分图的最大匹配、完美匹配和匈牙利算法

相关二分图的最大匹配、完美匹配和匈牙利算法

相关匈牙利算法(Hungarian)-二分图最大匹配

相关使用匈牙利算法实现最大匹配的案例

相关匈牙利算法找二分图最大匹配

相关 python最大前向匹配算法