NLTK学习笔记(五):分类和标注词汇

╰+哭是因爲堅強的太久メ 2022-05-16 00:49 283阅读 0赞

*  [词性标注器][Link 1]
 *  [标注语料库][Link 2]
    
     *  [表示已经标注的标识符:`nltk.tag.str2tuple('word/类型')`][nltk.tag.str2tuple_word]
     *  [读取已经标注的语料库][Link 3]
     *  [名词、动词、形容词等][Link 4]
     *  [尝试找出每个名词类型中最频繁的名词][Link 5]
     *  [探索已经标注的语料库][Link 6]
 *  [自动标注][Link 7]
    
     *  [默认标注器][Link 8]
     *  [正则表达式标注器][Link 9]
     *  [查询标注器][Link 10]
 *  [N-gram标注][N-gram]
    
     *  [基础的一元标注器][Link 11]
     *  [一般的N-gram标注器][N-gram 1]
     *  [组合标注器][Link 12]
     *  [跨句子边界标注][Link 13]
 *  [基于转换的标注：Brill标注器][Brill]

## 词性标注器 ##

> 之后的很多工作都需要标注完的词汇。nltk自带英文标注器`pos_tag`

import nltk
    text = nltk.word_tokenize("And now for something compleyely difference")
    print(text)
    print(nltk.pos_tag(text))

--------------------

## 标注语料库 ##

### 表示已经标注的标识符:`nltk.tag.str2tuple('word/类型')` ###

text = "The/AT grand/JJ is/VBD ."
    print([nltk.tag.str2tuple(t) for t in text.split()])

### 读取已经标注的语料库 ###

> nltk语料库ue肚脐提供了统一接口，可以不必理会不同的文件格式。格式:`语料库.tagged_word()/tagged_sents()`。参数可以指定categories和fields

print(nltk.corpus.brown.tagged_words())

### 名词、动词、形容词等 ###

> 这里以名词为例

from nltk.corpus import brown
    word_tag = nltk.FreqDist(brown.tagged_words(categories="news"))
    print([word+'/'+tag for (word,tag)in word_tag if tag.startswith('V')])
    ################下面是查找money的不同标注#################################
    wsj = brown.tagged_words(categories="news")
    cfd = nltk.ConditionalFreqDist(wsj)
    print(cfd['money'].keys())

### 尝试找出每个名词类型中最频繁的名词 ###

def findtag(tag_prefix,tagged_text):
        cfd = nltk.ConditionalFreqDist((tag,word) for (word,tag) in tagged_text if tag.startswith(tag_prefix))
        return dict((tag,list(cfd[tag].keys())[:5]) for tag in cfd.conditions())#数据类型必须转换为list才能进行切片操作
    
    tagdict = findtag('NN',nltk.corpus.brown.tagged_words(categories="news"))
    for tag in sorted(tagdict):
        print(tag,tagdict[tag])

### 探索已经标注的语料库 ###

> 需要`nltk.bigrams()`和`nltk.trigrams()`，分别对应2-gram模型和3-gram模型。

brown_tagged = brown.tagged_words(categories="learned")
    tags = [b[1] for (a,b) in nltk.bigrams(brown_tagged) if a[0]=="often"]
    fd = nltk.FreqDist(tags)
    fd.tabulate()

--------------------

## 自动标注 ##

### 默认标注器 ###

> 最简单的标注器是为每个标识符分配统一标记。下面就是一个将所有词都变成NN的标注器。并且用`evaluate()`进行检验。当很多词语是名词时候，它有利于第一次分析并提高稳定性。

brown_tagged_sents = brown.tagged_sents(categories="news")
    
    raw = 'I do not like eggs and ham, I do not like them Sam I am'
    tokens = nltk.word_tokenize(raw)
    default_tagger = nltk.DefaultTagger('NN')#创建标注器
    print(default_tagger.tag(tokens)) # 调用tag()方法进行标注
    print(default_tagger.evaluate(brown_tagged_sents))

### 正则表达式标注器 ###

> 注意这里规则是固定（由自己决定）。当规则越来越完善的时候，精确度越高。

patterns = [
        (r'.*ing$','VBG'),
        (r'.*ed$','VBD'),
        (r'.*es$','VBZ'),
        (r'.*','NN')#为了方便，只有少量规则
    ]
    regexp_tagger = nltk.RegexpTagger(patterns)
    regexp_tagger.evaluate(brown_tagged_sents)

### 查询标注器 ###

> 这里和书里是有差别的，不同于python2，注意调试。而查询标注器就是存储最有可能的标记，并且可以设置`backoff`参数，不能标记的情况下，就使用这个标注器（这个过程是**回退**）

fd = nltk.FreqDist(brown.words(categories="news"))
    cfd = nltk.ConditionalFreqDist(brown.tagged_words(categories="news"))
    ##############################################python2和3的区别#########
    most_freq_words = fd.most_common(100)
    likely_tags = dict((word,cfd[word].max()) for (word,times) in most_freq_words)
    #######################################################################
    baseline_tagger = nltk.UnigramTagger(model=likely_tags,backoff=nltk.DefaultTagger('NN'))
    baseline_tagger.evaluate(brown_tagged_sents)

--------------------

## N-gram标注 ##

### 基础的一元标注器 ###

> 一元标注器的行为和查找标注器很相似，建立一元标注器的技术，为**训练**。  
>   
> 这里我们的标注器只是记忆训练集，而不是建立一般模型，那么吻合很好，但是不能推广到新文本。

size = int(len(brown_tagged_sents)*0.9)
    train_sents = brown_tagged_sents[:size]
    test_sents = brown_tagged_sents[size+1:]
    unigram_tagger = nltk.UnigramTagger(train_sents)
    unigram_tagger.evaluate(test_sents)

### 一般的N-gram标注器 ###

> N元标注器，就是检索index= n 的 word，并且检索n-N<=index<=n-1 的 tag。即通过前面词的tag标签，进一步确定当前词汇的tag。类似于`nltk.UnigramTagger()`，自带的二元标注器为:`nltk.BigramTagger()`用法一致。

### 组合标注器 ###

> 很多时候，覆盖范围更广的算法比精度更高的算法更有用。利用`backoff`指明**回退标注器**,来实现标注器的组合。而参数`cutoff`显式声明为int型，则会自动丢弃只出现1-n次的上下文。

t0 = nltk.DefaultTagger('NN')
    t1 = nltk.UnigramTagger(train_sents,backoff=t0)
    t2 = nltk.BigramTagger(train_sents,backoff=t1)
    t2.evaluate(test_sents)

可以发现，和原来比较之后，精确度明显提高

### 跨句子边界标注 ###

> 对于句首的单词，没有前n个单词。解决方法：通过已标记的tagged\_sents来训练标注器。

--------------------

## 基于转换的标注：Brill标注器 ##

> 较上面的都优秀。实现的思路：以大笔化开始，然后修复细节，一点点进行细致改变。  
> 不仅占用内存小，而且关联上下文，并且根据问题的变小，实时修正错误，而不是一成不变的。当然，在python3和python2的调用有所不同。

from nltk.tag import brill
    brill.nltkdemo18plus()
    brill.nltkdemo18()

[Link 1]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E8%AF%8D%E6%80%A7%E6%A0%87%E6%B3%A8%E5%99%A8
[Link 2]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E6%A0%87%E6%B3%A8%E8%AF%AD%E6%96%99%E5%BA%93
[nltk.tag.str2tuple_word]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E8%A1%A8%E7%A4%BA%E5%B7%B2%E7%BB%8F%E6%A0%87%E6%B3%A8%E7%9A%84%E6%A0%87%E8%AF%86%E7%AC%A6nltk.tag.str2tupleword%E7%B1%BB%E5%9E%8B
[Link 3]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E8%AF%BB%E5%8F%96%E5%B7%B2%E7%BB%8F%E6%A0%87%E6%B3%A8%E7%9A%84%E8%AF%AD%E6%96%99%E5%BA%93
[Link 4]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E5%90%8D%E8%AF%8D%E5%8A%A8%E8%AF%8D%E5%BD%A2%E5%AE%B9%E8%AF%8D%E7%AD%89
[Link 5]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E5%B0%9D%E8%AF%95%E6%89%BE%E5%87%BA%E6%AF%8F%E4%B8%AA%E5%90%8D%E8%AF%8D%E7%B1%BB%E5%9E%8B%E4%B8%AD%E6%9C%80%E9%A2%91%E7%B9%81%E7%9A%84%E5%90%8D%E8%AF%8D
[Link 6]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E6%8E%A2%E7%B4%A2%E5%B7%B2%E7%BB%8F%E6%A0%87%E6%B3%A8%E7%9A%84%E8%AF%AD%E6%96%99%E5%BA%93
[Link 7]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E8%87%AA%E5%8A%A8%E6%A0%87%E6%B3%A8
[Link 8]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E9%BB%98%E8%AE%A4%E6%A0%87%E6%B3%A8%E5%99%A8
[Link 9]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E6%A0%87%E6%B3%A8%E5%99%A8
[Link 10]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E6%9F%A5%E8%AF%A2%E6%A0%87%E6%B3%A8%E5%99%A8
[N-gram]: https://www.cnblogs.com/AsuraDong/p/6995808.html#n-gram%E6%A0%87%E6%B3%A8
[Link 11]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E5%9F%BA%E7%A1%80%E7%9A%84%E4%B8%80%E5%85%83%E6%A0%87%E6%B3%A8%E5%99%A8
[N-gram 1]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E4%B8%80%E8%88%AC%E7%9A%84n-gram%E6%A0%87%E6%B3%A8%E5%99%A8
[Link 12]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E7%BB%84%E5%90%88%E6%A0%87%E6%B3%A8%E5%99%A8
[Link 13]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E8%B7%A8%E5%8F%A5%E5%AD%90%E8%BE%B9%E7%95%8C%E6%A0%87%E6%B3%A8
[Brill]: https://www.cnblogs.com/AsuraDong/p/6995808.html#%E5%9F%BA%E4%BA%8E%E8%BD%AC%E6%8D%A2%E7%9A%84%E6%A0%87%E6%B3%A8brill%E6%A0%87%E6%B3%A8%E5%99%A8