NLP&Python笔记——语料库

水深无声 2022-05-19 03:42 190阅读 0赞

什么是语料库？文本语料库是一个大型结构化文本的集合。

NLTK包含了许多语料库：

（1）古滕堡语料库   
（2）网络和聊天文本  
（3）布朗语料库  
（4）路透社语料库  
（5）就职演讲语料库  
（6）标注文本语料库

词汇列表语料库  
（1）词汇列表：nltk.corpus.words.words()  
词汇语料库是Unix 中的/usr/dict/words 文件，被一些拼写检查程序使用。下面这段代码的功能是：过滤文本，留下罕见或拼写错误的词汇，删除在词汇列表中出现过的词汇。

#coding:utf-8
    import nltk
    def unusual_words(text):
        text_vocab=set(w.lower() for w in text if w.isalpha())
        english_vocab=set(w.lower() for w in nltk.corpus.words.words())
        unusual=text_vocab.difference(english_vocab)    #求差集
        return sorted(unusual)
    print(unusual_words(nltk.corpus.gutenberg.words('austen-sense.txt')))
    print(unusual_words(nltk.corpus.nps_chat.words()))

（2）停用词语料库：nltk.corpus.stopwords.words()  
停用词语料库包含一些高频词，在处理时可以从文档中过滤掉，以便区分文本。下面这段代码实现了计算文本中不包含在停用词语料库中的词所占的比例。

import nltk
    def content_fraction(text):
        stopwords=nltk.corpus.stopwords.words('english')
        content=[w for w in text if w.lower() not in stopwords]
        return len(content)*1.0/len(text)
    print(content_fraction(nltk.corpus.reuters.words()))

发表评论取消回复

表情：

评论列表（有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

相关中文语料库

首先下载wiki中文语料（大约1.7G） https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-art

喜欢ヅ旅行/ 2023年10月13日 17:27/ 0 赞/ 41 阅读

相关语料库与python应用,NLTK（Python）中的语料库和词典有什么区别

![Image 1][] Can someone tell me the difference between a Corpora ,corpus and lexicon i

爱被打了一巴掌/ 2023年01月24日 02:14/ 0 赞/ 110 阅读

相关如何建语料库_如何建立自己的语料库？

谢邀。按照语料的语种，语料库可以分成单语语料库、双语语料库和多语语料库。单语与双语或多语语料库之间的区别在于语料库本身所包含的语言数量。凡语料仅为单一语言的语料库属于单语语

淩亂°似流年/ 2022年12月31日 10:20/ 0 赞/ 132 阅读

相关中文情感分析语料库

中文情感分析语料库 http://blog.leanote.com/post/doubleseven/%E4%B8%AD%E6%96%87%E6%83%85%E6%84%9F

桃扇骨/ 2022年06月06日 08:17/ 0 赞/ 247 阅读

相关维基百科语料库训练词向量

维基百科语料库： 1.http://ftp.acc.umu.se/mirror/wikimedia.org/dumps/enwiki/20180320/ 2.https

曾经终败给现在/ 2022年05月24日 11:51/ 0 赞/ 315 阅读

相关 NLP&Python笔记——语料库

什么是语料库？文本语料库是一个大型结构化文本的集合。 NLTK包含了许多语料库：（1）古滕堡语料库（2）网络和聊天文本（3）布朗语料库（4）路透社语料

水深无声/ 2022年05月19日 03:42/ 0 赞/ 190 阅读

相关波兰-中文语料库构建之篇章对齐

摘要：本文通过爬取ted.com和谷歌翻译，通过计算句子语义相似度进行篇章对齐 1.爬取ted.com 1.1 爬出有波兰语字幕演讲所有url 1.2 判断有

迷南。/ 2022年04月24日 01:06/ 0 赞/ 183 阅读

相关【自然语言处理】浅谈语料库

文章目录【自然语言处理】浅谈语料库前言一、浅谈语料库 1、语料和语料库

小咪咪/ 2022年04月22日 07:08/ 0 赞/ 2354 阅读

相关 GENIA语料库学习【转载】

来自论文：GENIA corpus—a semantically annotated corpus for bio-textmining 2003 1.介绍

ゝ一纸荒年。/ 2021年12月18日 15:25/ 0 赞/ 274 阅读

相关语料库的获取与词频分析

声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会

我不是女神ヾ/ 2021年09月17日 04:42/ 0 赞/ 465 阅读