python库学习之wordcloud(生成词云)

落日映苍穹つ 2023-02-25 10:23 61阅读 0赞

> **前言**  
> 在研究数字可视化时，接触到了词云，python中wordcloud库可以根据所给词的频率和背景图生成好看的词云，觉得很好玩，特将学习过程记录于此。部分学习内容参考了网络中blog的内容，在参考目录中罗列出。  
> **官网传送门：** [https://pypi.org/project/wordcloud/][https_pypi.org_project_wordcloud]  
> **源码传送门：** [https://github.com/amueller/word\_cloud][https_github.com_amueller_word_cloud]  
> **用法传送门**： [http://amueller.github.io/word\_cloud/cli.html][http_amueller.github.io_word_cloud_cli.html]

### 目录 ###

*   *  一、介绍
     *  二、安装
     *   *  方法一：pip
         *  方法二：conda
     *  三、使用
     *   *  1. 命令行方式
         *  2. 在python中使用
         *   *  2.1 简介
             *  2.2. 从例子中学习
             *   *  example-1
                 *  example-2
                 *  example-3
     *  四、问题
     *   *  问题一：安装报错
         *  问题二：wordcloud词云库中文乱码
     *  参考文档

## 一、介绍 ##

wordcloud是优秀的词云展示第三方库，以词语为基本单位，通过图形可视化的方式，更加直观和艺术的展示文本。

## 二、安装 ##

### 方法一：pip ###

在命令行输入`pip install wordcloud`

![图片][format_png]

### 方法二：conda ###

可以使用conda-forge安装

conda install -c conda-forge wordcloud

⭐ ⭐注意 ⭐ ⭐

官网中特别强调，wordcloud需要的依赖有numpy和pillow，当需要把wordcloud保存成一个文件的时候，需要安装matplotlib库

安装方法同上，在命令行输入`pip install matplotlib`

## 三、使用 ##

### 1. 命令行方式 ###

官网介绍传送门：[http://amueller.github.io/word\_cloud/cli.html][http_amueller.github.io_word_cloud_cli.html]

--text 参数后面要写生成词云所需要的文本文件
    --imagefile  保存词云图片，指定路径和文件名
    $ wordcloud_cli --text mytext.txt --imagefile wordcloud.png

注意  
这个 $ 符号不需要管它，他是linux shell里的，这个命令在windows下也可以用，前提是装好wordcount

![图片][format_png 1]

运行结果：

![图片][format_png 2]

如果要处理pdf文件，可以使用`pdftotext`

$ pdftotext mydocument.pdf - | wordcloud_cli --imagefile wordcloud.png

pdftotext首先把pdf文件的处理结果写入stdout，然后再通过管道，作为wordcloud\_cli的输入内容。

### 2. 在python中使用 ###

#### 2.1 简介 ####

wordcloud 库把词云当作一个WordCloud对象，wordcloud.WordCloud()代表一个文本对应的词云，可以根据文本中词语出现的频率等参数绘制词云，绘制词云的形状、尺寸和颜色均可设定以WordCloud对象为基础，配置参数、加载文本、输出文件。

wordcloud类的初始化函数包括很多的参数，重要的已经标注了注释

# wordcloud的__init__方法的参数如下
    classwordcloud.WordCloud(
    font_path=None,        # None表示不再另行指定使用什么样的字体
    width=400,             # width指定画布的宽度
    height=200,            # height指定画布的高 即生成分辨率为(400,200)的图片
    margin=2,              # 
    ranks_only=None, 
    prefer_horizontal=0.9,  # 默认为0.9，代表文本横向排版出现的频率为0.9，垂直排版频率为0.1
    mask=None,              # 默认词云会填充画布默认大小，若不是None，则默认画布大小将失效，遮罩的形状被mask取代。mask中全白区域将不会绘制词云，所以导入图片时注意该图片的背景必须为白色，而填充区域为其他颜色，可以利用ps抠图放在纯白的画布中。
    scale=1,                # 默认为1，按比例放大(>1)画布或者缩小(<1) float类型
    color_func=None, 
    max_words=200,          # 最大字数
    min_font_size=4,        # 要使用的最小字体的字号
    stopwords=None,         # None表示不再另行指定停用词
    random_state=None,        
    background_color='black', # 云图背景颜色
    max_font_size=None,     # 最大单词的最大字体大小。如果无，则使用图像的高度。
    font_step=1,            # 默认为1，字体大小的步长，大于1时会加快运算，但可能会导致较大误差
    mode='RGB',             # 默认值'RGB' ，当参数为'RGBA'，其中A代表透明度，且'background_color'不为空时,背景为透明。
    relative_scaling='auto',# 默认值'auto'，文字出现的频率与字体大小的关系，设置为1时词语出现的频率越高，其字体越大，默认为0.5。
    regexp=None,            # 使用正则表达式来分隔输入的文本，当使用了generate_from_frequencies时本参数将被屏蔽
    collocations=True,      # 默认为True ，是否包括两个单词的搭配，当使用了generate_from_frequencies时本参数将被屏蔽
    colormap=None,          # 默认为'viridis' ，随机为每个词染色，本参数使用了'color_func'时将会被屏蔽
    normalize_plurals=True,   # 是否从单词中删除尾随的 "s"。如果 True 和单词出现带和没有尾随的"s"，则删除带尾随"s"的单词，其计数将添加到不尾随"s"的版本中，除非单词以"s"结尾。如果使用"generate_from_frequencies。
    contour_width=0,          # 设置词云边界宽度，默认为0，不画出词云边界线，当mask中填充部分的边界平滑时可以设置contour_width，否则不需要设置该参数，会产生锯齿
    contour_color='black',    # 蒙版轮廓颜色。边界线颜色，默认为黑色，当contour_width不为0时，设置本参数改变边界线颜色。
    repeat=False,            # 默认为False，是否重复单词或者短语，直到满足max_words和min_font_size，当文本内容较少时建议设置为真
    include_numbers=False,    # 
    min_word_length=0,        # 必须包含一个单词的最小字母数
    collocation_threshold=30  # 
    )

常用方法：

<table> 
 <thead> 
  <tr> 
   <th align="left"><strong>fit_words</strong>（self, frequencies）</th> 
   <th align="left">从单词word_cloud频率创建一个单词。</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><strong>generate</strong>（self,text）</td> 
   <td align="left">从文本生成字云。</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>generate_from_frequencies</strong>（self、frequencies）</td> 
   <td align="left">从单词word_cloud频率创建一个单词。</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>generate_from_text</strong>（self,text）</td> 
   <td align="left">从文本生成字云。</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>process_text</strong>（self,text）</td> 
   <td align="left">将长文本拆分为单词，消除非索引字。</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>recolor</strong>（self]， random_state， color_func，…]）</td> 
   <td align="left">重新着色现有布局。</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>to_array</strong>（self）</td> 
   <td align="left">转换为数字数组。</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>to_file</strong>（self，filename）</td> 
   <td align="left">导出到图像文件。</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>to_svg</strong>（self,[embed_font，…]）</td> 
   <td align="left">导出到 SVG。</td> 
  </tr> 
 </tbody> 
</table>

#### 2.2. 从例子中学习 ####

##### example-1 #####

这个例子摘取自官网

import numpy as np
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud
    # 设置文本
    text = "square"
    x, y = np.ogrid[:300, :300]
    # ogrid函数作为产生numpy数组与numpy的arange函数功能有点类似，不同的是：
    # 1、arange函数产生的是一维数组，而ogrid函数产生的是二维数组
    # 2、arange函数产生的是一个数组，而ogrid函数产生的是二个数组
    # 3、ogrid函数产生的数组，第一个数组是以纵向产生的，即数组第二维的大小始终为1。第二个数组是以横向产生的，即数组第一维的大小始终为1。
    # 抠出一个椭圆，这是mask的元素都是bool元素
    mask = (x - 150) ** 2 + (y - 150) ** 2 > 130 ** 2
    mask = 255 * mask.astype(int)
    # 用astype转换为int类型
    
    wc = WordCloud(background_color="white", repeat=True, mask=mask)
    wc.generate(text)
    wc.to_file("text.png")
    # 不显示坐标轴
    plt.axis("off")
    plt.imshow(wc, interpolation="bilinear")
    #interpolation参数的解释可以看官网 https://matplotlib.org/gallery/images_contours_and_fields/interpolation_methods.html?highlight=interpolation
    # 调用show展示图片
    plt.show()

运行结果：  
![图片][format_png 3]

##### example-2 #####

这个例子使用的图片dancer.png

![图片][format_png 4]

from os import path
    from PIL import Image
    import numpy as np
    import matplotlib.pyplot as plt
    import os
    from wordcloud import WordCloud, STOPWORDS
    # get data directory (using getcwd() is needed to support running example in generated IPython notebook)
    d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()
    # Read the whole text.
    text = open(path.join(d, 'alice.txt')).read()
    # read the mask image
    # taken from
    # http://www.stencilry.org/stencils/movies/alice%20in%20wonderland/255fk.jpg
    alice_mask = np.array(Image.open(path.join(d, "dancer.png")))
    stopwords = set(STOPWORDS)
    stopwords.add("said")
    wc = WordCloud(background_color="white", max_words=2000, mask=alice_mask,
                   stopwords=stopwords, contour_width=3, contour_color='steelblue')
    # generate word cloud
    wc.generate(text)
    # store to file
    wc.to_file(path.join(d, "alice.png"))
    # show
    plt.figure()
    # cmap的设置参考 https://blog.csdn.net/qq_30934313/article/details/85249831
    plt.imshow(alice_mask, cmap=plt.cm.gray, interpolation='bilinear')
    plt.axis("off")
    plt.show()

![图片][format_png 5]

##### example-3 #####

使用自定义的颜色

from os import path
    from PIL import Image
    import numpy as np
    import matplotlib.pyplot as plt
    import os
    import random
    from wordcloud import WordCloud, STOPWORDS
    def grey_color_func(word, font_size, position, orientation, random_state=None,
                        **kwargs):
        return "hsl(0, 0%%, %d%%)" % random.randint(60, 100)
    # get data directory (using getcwd() is needed to support running example in generated IPython notebook)
    d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()
    # Read the whole text.
    text = open(path.join(d, 'test.txt'),encoding='utf-8').read()
    # read the mask image
    alice_mask = np.array(Image.open(path.join(d, "dancer.png")))
    stopwords = set(STOPWORDS)
    stopwords.add("said")
    wc = WordCloud(background_color="white", max_words=2000, mask=alice_mask,
                   stopwords=stopwords, contour_width=3, contour_color='steelblue')
    # generate word cloud
    wc.generate(text)
    # store to file
    wc.to_file(path.join(d, "alice.png"))
    # show
    plt.figure()
    plt.imshow(wc.recolor(color_func=grey_color_func, random_state=3),interpolation='bilinear')
    plt.axis("off")
    plt.show()

运行结果：  
![图片][format_png 6]

## 四、问题 ##

### 问题一：安装报错 ###

在安装的时候报如下的错

Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build

**解决办法：**  
\*\*方法一：\*\*下载对应的`Visual C++ 2015 Build Tool`进行安装

官网传送门：[https://www.microsoft.com/en-us/download/details.aspx?id=48159][https_www.microsoft.com_en-us_download_details.aspx_id_48159]

![图片][format_png 7]

**方法二：下载wordcloud编译后安装包，本地安装方式；**

step1、传送门： [https://www.lfd.uci.edu/~gohlke/pythonlibs/\#wordcloud][https_www.lfd.uci.edu_gohlke_pythonlibs_wordcloud]

step2、选择对应版本进行安装，注意要对应python安装版本，注意self己的电脑位数

进入页面后，选择wordcloud，快速定位

![图片][format_png 8]

注意要对应python安装版本，注意self己的电脑位数

![图片][format_png 9]

3、本地python安装wheel，安装方式pip，命令：`pip install wheel`
    
      4、安装wheel后，使用pip安装下载到本地的：`pip install wordcloud-1.5.0-cp36-cp36m-win32`（根据下载 对应版本即可）

### 问题二：wordcloud词云库中文乱码 ###

解决办法：把中文字体文件加入到wordcloud的文件夹下，并修改wordcloud.py，详情请看[参考文档4][4]

## 参考文档 ##

1.  [Python—wordcloud（pip安装失败问题解决)][Python_wordcloud_pip]
2.  [Python之wordcloud库使用][Python_wordcloud]
3.  [玩转wordcloud][wordcloud]
4.  [词云库中文乱码问题][4]
5.  [WordCloud制作词云（1）–函数参数详情][WordCloud_1]
6.  [numpy的ogrid详解][numpy_ogrid]
7.  [关于matplotlib及相关cmap参数的取值][matplotlib_cmap]

[https_pypi.org_project_wordcloud]: https://pypi.org/project/wordcloud/
[https_github.com_amueller_word_cloud]: https://github.com/amueller/word_cloud
[http_amueller.github.io_word_cloud_cli.html]: http://amueller.github.io/word_cloud/cli.html
[format_png]: /images/20230209/1d8f0c6082aa444e90cf3f2abac88040.png
[format_png 1]: /images/20230209/e0b93d0f3d3041f69263a065428b01a4.png
[format_png 2]: /images/20230209/f69af22959f74d0186ad1c0fa1383c66.png
[format_png 3]: /images/20230209/b7e13c7b1975437f85ce8d9e5c0f194f.png
[format_png 4]: /images/20230209/eb214660eaef44c699552ad3018cdb27.png
[format_png 5]: /images/20230209/9f62270a4b4d4be4937992304575f567.png
[format_png 6]: /images/20230209/27aaf4bf225b4972b00f899a7cc76be1.png
[https_www.microsoft.com_en-us_download_details.aspx_id_48159]: https://www.microsoft.com/en-us/download/details.aspx?id=48159
[format_png 7]: /images/20230209/94f76168d74941ec8801a91dc35dbef9.png
[https_www.lfd.uci.edu_gohlke_pythonlibs_wordcloud]: https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud
[format_png 8]: /images/20230209/1a73a446e4dc4651a6ca093da48cedb7.png
[format_png 9]: /images/20230209/e29780de32a8495fadb081e22f008f62.png
[4]: https://blog.csdn.net/Dick633/article/details/80261233
[Python_wordcloud_pip]: https://blog.csdn.net/DCclient/article/details/89818315?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.compare&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.compare
[Python_wordcloud]: https://blog.csdn.net/jinsefm/article/details/80645588?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.compare&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.compare
[wordcloud]: https://blog.csdn.net/kun1280437633/article/details/89474284
[WordCloud_1]: https://www.jianshu.com/p/3c349f0493e0
[numpy_ogrid]: https://blog.csdn.net/sinat_29957455/article/details/81367295
[matplotlib_cmap]: https://blog.csdn.net/qq_30934313/article/details/85249831