【小实验讲解】贝叶斯拼写检查器

女爷i 2023-01-03 14:28 98阅读 0赞

### 贝叶斯拼写检查器 ###

*  python代码
 *   *  拼写检查器的代码+注释

# python代码 #

big.txt只是一个语料库大家网上可以找得到。  
![在这里插入图片描述][20210108214658728.png]

## 拼写检查器的代码+注释 ##

# ##求解: argmaxc P(c|w) > argmaxc P(w|c) P(c) / P(w)
    # - P(c)， 文章中出现一个正确拼写词c的概率，也就是说，在英语文章中，c出现的概率有多大
    # - P(w|c). 在用户想键入c的情况下敲成心w的概率、因为这个是代表用户会以多大的概率把c敲错成w。
    # - argmaxc, 用来枚举所有可能的c并且选取概率最大的
    
    
    import collections
    import re
    
    # 所有单词以及出现的次数
    Dict_Word_Frequency = ''
    
    def get_Words(text):
        '''把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号'''
        new_text = re.findall('[a-z]+',text.lower())
        return new_text
    
    def get_Word_Frequency(words):
        '''获取词频，统计每个单词出现的次数'''
        # 建立字典（键为单词名，值为词频），默认每个单词出现一次
        model = collections.defaultdict(lambda :1)
        # 为每一个单词计算词频
        for i in words:
            model[i] = model[i] + 1
        return model
    
    def calculate_Edits1(word):
        '''返回所有编辑距离为1的单词集合'''
        # 所有字母
        alphabet = 'abcdefghijklmnopqrstuvwxyz'
        # 单词长度
        n = len(word)
        # 所有可能拼错的的单词集合
        word_sets =set()
    
        # 缺少单词的（eg：the-th）
        for i in range(n):
            word_sets.add(word[0:i] + word[i + 1:])
        # 顺序调换的（eg：the-eth）
        for i in range(n - 1):
            word_sets.add(word[0:i] + word[i + 1] + word[i] + word[i + 2:])
        # 单词替换的（eg：the-thy）
        for c in alphabet:
            for i in range(n):
                word_sets.add(word[0:i] + c + word[i + 1:])
        # 单词多加的（eg：the-thei）
        for c in alphabet:
            for i in range(n):
                word_sets.add(word[0:i] + c + word[i:])
    
        return word_sets
    
    def calculate_Edits2(word):
        '''返回所有编辑距离为2的单词集合,但只选择正确的'''
        # 所有可能拼错的的单词集合
        word_sets =set()
        for ele1 in calculate_Edits1(word):
            for ele2 in calculate_Edits1(ele1):
                word_sets.add(ele2)
        return word_sets
    
    def known(words):
        '''只把那些正确的词作为候选词'''
        word_sets = set()
        for w in words:
            if(w in Dict_Word_Frequency):
                word_sets.add(w)
        return word_sets
    
    def correct(word):
        '''如果known(set)非空, candidate 就会选取这个集合, 而不继续计算后面的'''
        candidates = known([word]) or known(calculate_Edits1(word)) or calculate_Edits2(word) or [word]
        # 根据词频选择candidates中词频最高的拿出来返回
        return max(candidates, key=lambda w: Dict_Word_Frequency[w])
    
    if __name__ == '__main__':
    
        # 语料库路径
        File_Path = 'big.txt'
        # 读取语料库中的全部文字
        All_Word_Text = open(File_Path).read()
        # 把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号
        All_New_Word_Text = get_Words(All_Word_Text)
        # 从所有单词中获取词频
        Dict_Word_Frequency = get_Word_Frequency(All_New_Word_Text)
        # 进行拼写检查
        print(correct('thi'))

[20210108214658728.png]: /images/20221119/324d2564511c475a8cf412e44af1fc89.png