NLP&Python笔记——nltk模块基础操作

野性酷女 2022-05-19 00:58 383阅读 0赞

nltk是一款常用的基于python的NLP工具包，本文介绍了nlkt的安装导入以及一些基础的函数操作。

## 1. 安装 ##

（1）安装nltk库：  pip install nlkt

（2）下载nltk库中的book文件：

import nltk
    nltk.download()

运行--> 弹出下载界面 --> 选择book--> 设置好路径--> Download

![70][]

（3）下载好后，加载nltk的book模块中所有条目：

from nltk.book import *

（4）加载后，就可以使用库中包含的文档了。如，text1/tex2/tex3.....

## 2. 几个基础函数 ##

**（1）搜索文本：text.concordance(word)**

例如，在text1中搜索词”is”在文本中出现的次数以及上下文的词：text1.concordance("is")

![70 1][]

**（2）搜索上下文相似的词：text.similar(word)**

例如，在text1中搜索哪些相似的词出现在词”is”的上下文中：text1.similar("is")

![70 2][]

**（3）搜索几个词汇上下文的公共词汇：text.common\_contexts(\[word1,word2…\])**

例如，在text1中搜索哪些词是”is”和“that”上下文中的公共词汇：text1.common\_contexts(\["is","that"\])

![70 3][]

**（4）离散图表示词出现的位置序列：text.dispersion\_plot(\[word1, word2,\])**

例如，用离散图表示词"am","is","are","the","a"在text1中出现的位置，即从开头算起的第多少个词：text1.dispersion\_plot(\["am","is","are","the","a"\])

![70 4][]

**（5）统计文本标示符（单词和标点符号）的个数：len(text)**

**（6）获取文本的词汇表（含标点符号）：set(text)**

**（7）获取词汇表并排序：sorted(set(text))**

**（8）统计词汇表的大小：len(set(text))**

[70]: /images/20220519/c8a66bb3d58c44a3a0962f9b74e579d7.png
[70 1]: /images/20220519/57d82e6b737e4e4ca2266e95dc0d7404.png
[70 2]: /images/20220519/fcea3e0b89114224b1c798b1bb04bb6f.png
[70 3]: /images/20220519/602a89a14e364ab88ecdddcb398ad7a2.png
[70 4]: /images/20220519/829c02d135404a8c9b8a338d6ec4d033.png

发表评论取消回复

表情：

评论列表（有 0 条评论，383人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 基础入门笔记（四）——— 文件操作、面向对象、异常、模块包

文章目录一、文件操作 1.1 文件的基本操作 1.1.1 打开 1.1.2 打开文件模式

左手的ㄟ右手/ 2023年10月11日 17:02/ 0 赞/ 52 阅读

相关【python基础】——安装和使用NLTK问题

安装NLTK可能出现的问题： 1. pip install ntlk 2. 如果遇到缺少stopwords报错如下：（[http://johnlaudun.org/20

比眉伴天荒/ 2022年05月23日 23:42/ 0 赞/ 236 阅读

相关 NLTK模块学习介绍

nltk的全称是natural language toolkit，是一套基于python的自然语言处理工具集。 1 NLTK的安装 nltk的安装十分便捷，只需要pip

浅浅的花香味﹌/ 2022年05月19日 12:10/ 0 赞/ 248 阅读

相关 NLP&Python笔记——nltk模块基础操作

nltk是一款常用的基于python的NLP工具包，本文介绍了nlkt的安装导入以及一些基础的函数操作。 1. 安装（1）安装nltk库： pip install

野性酷女/ 2022年05月19日 00:58/ 0 赞/ 384 阅读

相关 NLTK学习笔记(七):文本信息提取

目录 [实体识别：分块技术][Link 1] [分块语法的构建][Link 2] [树状图][Link 3] [IO

梦里梦外;/ 2022年05月16日 00:49/ 0 赞/ 416 阅读

相关 NLTK学习笔记(五):分类和标注词汇

目录 [词性标注器][Link 1] [标注语料库][Link 2] [表示已经标注的标识符:`nltk.tag.str2tuple('w

╰+哭是因爲堅強的太久メ/ 2022年05月16日 00:49/ 0 赞/ 253 阅读

相关 NLTK学习笔记(三):NLTK的一些工具

> 主要总结一下简单的工具：条件频率分布、正则表达式、词干提取器和归并器。 -------------------- 条件分布频率 > 《自然语言学习》很多地方都用到

迈不过友情╰/ 2022年05月16日 00:48/ 0 赞/ 269 阅读

相关 NLTK学习笔记(一):语言处理和Python

目录 [目录][Link 1] [nltk资料下载][nltk] [文本和词汇][Link 2]

拼搏现实的明天。/ 2022年05月16日 00:45/ 0 赞/ 239 阅读

相关 NLTK安装

1、安装nltk、numpy pip install nltk pip install numpy 2、进入python import nlt

朱雀/ 2021年12月17日 04:07/ 0 赞/ 263 阅读

相关 NLTK——NLTK的正则表达式分词器（nltk.regexp_tokenize）

在《Python自然语言处理》一书中的P121出现来一段利用NLTK自带的正则表达式分词器——nlt.regexp\_tokenize,书中代码为: 1 text =

梦里梦外;/ 2021年11月22日 23:40/ 0 赞/ 346 阅读