分词之逆向最大匹配法

r囧r小猫 2023-07-01 11:58 15阅读 0赞

完整的代码和资料见 [github:zlhcsm][github_zlhcsm]

> 知识普及：反向最大匹配法的基本原理与[正向最大匹配法][Link 1]类似，只是分词顺序变为从右至左。

## 步骤 ##

1，一般从一个字符串的结束位置，选择一个最大长度的词长的片段，如果序列不足最大词长，则选择全部序列。  
2，首先看该片段是否在词典中，如果是，则算为一个分出来的词，如果不是，则从左边开始，减少一个字符，然后看短一点的这个片段是否在词典中，一次循环，直到只剩下一个字。  
3，序列变为第2步骤截取分词后，剩下的部分序列

## 核心代码 ##

1，读取文件，由于字典文件格式不一定相同，因此建议采用此文件读取代码

def init():
        """ 读取词典文件 :return: """
        with open("../dic/dict.txt", "r", encoding="utf8") as dic_input:
            for word in dic_input:
                words_dic.append(word.split(" ")[0].strip())

2，切词方法

#实现逆向最大匹配算法中的切词方法
    def cut_words(raw_sentence, words_dic):
        # 统计词典中词的最长长度
        max_length = max(len(word) for word in words_dic)
        sentence = raw_sentence.strip()
        # 统计序列长度
        words_length = len(sentence)
        # 存储切分出来的词语
        cut_word_list = []
        # 判断是否需要继续访问
        while words_length > 0:
            max_cut_length = min(max_length, words_length)
            sub_sen = sentence[-max_cut_length:]
            while max_cut_length > 0:
                if sub_sen in words_dic:
                    cut_word_list.append(sub_sen)
                    break
                elif max_cut_length == 1:
                    cut_word_list.append(sub_sen)
                    break
                else:
                    max_cut_length = max_cut_length - 1
                    sub_sen = sub_sen[-max_cut_length:]
            sentence = sentence[0:-max_cut_length]
            words_length = words_length - max_cut_length
        cut_word_list.reverse()
        words = "/".join(cut_word_list)
        return words

--------------------

end

[github_zlhcsm]: https://github.com/zlhcsm/NLP_module_demo/tree/master/%E5%88%86%E8%AF%8D
[Link 1]: https://blog.csdn.net/zzzzlei123123123/article/details/104043794