中文词频统计

浅浅的花香味﹌ 2021-12-20 20:39 371阅读 0赞

本次作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnblogs.com_campus_gzcc_GZCC-16SE2_homework_2773]。

*  1.下载一长篇中文小说。

本次作业的小说来源于水浒传五十回至五十五回。

*  2.从文件读取待分析文本。

![1480641-20190318151017051-685424807.png][]

*   3.安装并使用jieba进行中文分词。

![1480641-20190318151156024-1306885522.png][]

![1480641-20190318151332654-379570046.png][]

*  更新词库，加入所分析对象的专业词汇。
 *  生成词频统计
 *  排序
 *  排除语法型词汇，代词、冠词、连词等停用词。
 *   输出词频最大TOP20，把结果存放到文件里

# 去除标点符号
    fuhao = {
        '。','！','？','的','“','”','（','）',' ','》','《','，'}
    jieba.add_word('宋江')
    words = list(jieba.cut(text))
    articleDict = {}
    articleSet = set(words)-fuhao
    for w in articleSet:
        if len(w)>1:
            articleDict[w] = words.count(w)
    
    articlelist = sorted(articleDict.items(),key = lambda x:x[1], reverse = True)
    print(articlelist)
    
    # 对结果输出到text.csv中
    import pandas as pd
    for i in range(10):
        print(articlelist[i])
    pd.DataFrame(data=articlelist).to_csv("F:\\xiaoshuo.csv",encoding='utf-8')

![1480641-20190318151724478-1789552955.png][]

*  生成词云

![1480641-20190318202244011-1922780357.png][]

转载于:https://www.cnblogs.com/lxcbk/p/10553130.html

[https_edu.cnblogs.com_campus_gzcc_GZCC-16SE2_homework_2773]: https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773
[1480641-20190318151017051-685424807.png]: /images/20211220/2f72571f98ac4c93853cc51c3a780f24.png
[1480641-20190318151156024-1306885522.png]: /images/20211220/380edbbdc5354d78835ae526f022f35a.png
[1480641-20190318151332654-379570046.png]: /images/20211220/d1bafebc1e5f45069db92fdeffcdbf8b.png
[1480641-20190318151724478-1789552955.png]: /images/20211220/927c6af3684a427798862bf36f05aa96.png
[1480641-20190318202244011-1922780357.png]: /images/20211220/01707b49d69f4d4aa396a39eb1f3de96.png