用wordcloud和jieba生成中文词云

àì夳堔傛蜴生んèń 2022-02-27 15:08 710阅读 0赞

WordCloud是Python中一个非常优秀的第三方词云展示库，但是处理中文就不怎么能胜任，因为中文通常包含着一整句话，尽管在WordCloud里虽然也有process\_text()方法用于把很长的文字做分隔，但这个方法本身是根据英文文本分词设计的，所以对于中文字的展示必须要配合更适合做中文分词处理的jieba分词库来操作效果更佳，今天就拿这两个库配合一起展示下小说《三国演义》中，四个字成语中那些出现的频率最高。

先来看下最终的词云效果图，下面就是我们以武将张飞为模板形状产生的中文词云图，可以很明显的看到诸如，`如之奈何`、`大喝一声`、`木牛流马`、`决一死战`都是比较大突出和大的字体，说明频率最高，也不得不说三国剧情的跌宕起伏和打斗场面精彩。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0YW5kZXJz_size_16_color_FFFFFF_t_70]

下面就是整段处理的代码，因为我们的目标是创建基于小说《三国演义》里所有四个字成语的中文词云图，因此我们从逻辑上来说只需要设计两个函数体。分别是`split_four_text()`函数用来处理中文分词功能，和`draw_wordcloud`函数用于将处理后的中文词显示成词云，对于整段代码提一下几处重要的代码区域。

第13行代码处，在配置实例对象wordcloud参数时，我们设置了font\_path参数，因为在部分系统环境内显示中文会出现乱码，所以强制以定义的中文字体显示就可以解决这个问题。

第64行代码处，由于WordCloud词云读取的文本必须以字符串或者二进制形式输入，否则会报错TypeError: expected string or bytes-like object的关系，所以我们强制将jieba分词返回的list类型内容转换为str类型。

import jieba
    import numpy as np
    from pathlib import Path
    from PIL import Image
    from wordcloud import WordCloud, ImageColorGenerator
    from matplotlib import pyplot as plt
    
    def split_four_text(text):
    # split_four_text函数用于jieba分词并分隔为4个字为一组的内容。
    
        words =jieba.cut(text)
        
        # 用Counter方法计算单词频率数
        count = Counter(words)
        most_count = count.most_common()
        words_list = []
    
        for i in most_count:
            if len(i[0]) == 4:
                words_list.append(i[0])
                        
        return words_list
    
    
    def draw_wordcloud(text, image_mask,):
    # draw_wordcloud函数以用户定义的模板轮廓图来显示中文词云。
    
        sanguo_mask = np.array(Image.open(image_mask))
    
        wordcloud = WordCloud(background_color = 'white', mask = sanguo_mask, 
                              max_words = 1000,
                              # 如果不设置中文字体，可能会出现乱码
                              font_path = '/System/Library/Fonts/STHeiti Light.ttc')
    
        wordcloud.generate(text)
        
        image_colors = ImageColorGenerator(sanguo_mask)
    
        plt.figure(figsize = (14, 8))
        
        # 创建左侧中文词云图
        plt.subplot(121)
        plt.imshow(wordcloud.recolor(color_func = image_colors), interpolation = 'bilinear')
        plt.axis('off')
        
        # 创建右侧原图
        plt.subplot(122)
        plt.imshow(sanguo_mask, interpolation = 'bilinear')
        plt.axis('off')
    
        plt.show()
    
        
    # 读取文件内容    
    text_path = Path('三国演义.txt')
    with text_path.open(encoding = 'GB18030') as f:
        text_content = f.read()
    
    # 把文件内容交给自定义的split_four_text中文分词函数处理。
    sanguo = split_four_text(text = text_content)
            
    # 由于split_four_text函数返回的是一个list类型，词云只接收字符串或者二进制形式输入，
    # 所以用str()函数转换为字符串。
    draw_wordcloud(text = str(sanguo), image_mask = 'guanyu_template.jpeg')

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0YW5kZXJz_size_16_color_FFFFFF_t_70]: /images/20220227/6778daa5d69e472d84ccfdeb3e39f6f5.png