PySpark 统计词频并返回排名TOP N

超、凢脫俗 2023-08-17 16:47 51阅读 0赞

输入：txt文本文件

输出结果：

[('技术', 48),
     ('百度', 45),
     ('模型', 38),
     ('语义', 31),
     ('分析', 30),
     ('情感', 25),
     ('NLP', 20),
     ('自然语言', 20),
     ('方法', 19),
     ('中', 18),
     ('用户', 17),
     ('观点', 16),
     ('计算', 16),
     ('主题', 16),
     ('数据', 15),
     ('理解', 13),
     ('词', 13),
     ('评论', 13),
     ('语言', 12),
     ('文本', 12)]

**实现代码：**

import jieba
    
    from pyspark.context import SparkContext
    
    sc = SparkContext("local", "WordCount")  # 初始化配置
    data = sc.textFile(r"C:\\Users\\hanxi\\PycharmProjects\\Code\\venv\\nlp_baidu.txt")  # 读取是utf-8编码的文件
    with open(r'C:\\Users\\hanxi\\PycharmProjects\\Code\\venv\\stopWords2750.txt', 'r', encoding='utf-8') as f:
        x = f.readlines()
    stop = [i.replace('\n', '') for i in x]
    stop.extend(['，', '的', '我', '他', '', '。', ' ', '\n', '？', '；', '：', '-', '（', '）', '！', '1909', '1920', '325', 'B612', 'II','III', 'IV', 'V', 'VI', '—', '‘', '’', '“', '”', '…', '、'])  # 停用标点之类
    data = data.flatMap(lambda line: jieba.cut(line, cut_all=False)).filter(lambda w: w not in stop). \
        map(lambda w: (w, 1)).reduceByKey(lambda w0, w1: w0 + w1).sortBy(lambda x: x[1], ascending=False)
    TOP_N = data.take(20)

发表评论取消回复

表情：

评论列表（有 0 条评论，51人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce - 词频统计

统计一个文本的词频 package Test01; import org.apache.hadoop.conf.Configuration;...

布满荆棘的人生/ 2024年04月17日 23:15/ 0 赞/ 111 阅读

相关 hadoop 词频统计

1)先写words文件 ![20180425155914434][]![Image 1][]![Image 1][] 2)再将words上传到hdfs中，可以直接运行

悠悠/ 2024年02月18日 19:51/ 0 赞/ 44 阅读

相关 PySpark 统计词频并返回排名TOP N

输入文本（list格式）： what do you do how do you do how do you do how are you

清疚/ 2023年10月11日 12:25/ 0 赞/ 20 阅读

相关 PySpark 统计词频并返回排名TOP N

输入：txt文本文件输出结果： [('技术', 48), ('百度', 45), ('模型', 38), ('语义', 31),

超、凢脫俗/ 2023年08月17日 16:47/ 0 赞/ 52 阅读

相关 PySpark 统计所有词频并排序返回 DataFrame

上一篇文章已经实现了PySpark 统计词频并返回排名TOP N：[https://blog.csdn.net/sinat\_26811377/article/details/

心已赠人/ 2023年08月17日 15:49/ 0 赞/ 117 阅读

相关词频统计之《三国演义》

描述：‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪

淩亂°似流年/ 2022年11月16日 01:44/ 0 赞/ 258 阅读

相关 jieba库词频统计_运用jieba库进行词频统计

Python第三方库jieba(中文分词) 一、概述 jieba是优秀的中文分词第三方库 \- 中文文本需要通过分词获得单个的词语 \- jieba是优秀的中文分词第三

古城微笑少年丶/ 2022年11月05日 00:45/ 0 赞/ 224 阅读

相关中文词频统计

中文词频统计 -------------------- 这个作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16

小鱼儿/ 2022年01月12日 13:23/ 0 赞/ 415 阅读

相关中文词频统计

本次作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnbl

浅浅的花香味﹌/ 2021年12月20日 20:39/ 0 赞/ 342 阅读

相关中文词频统计

作业要求来自： [https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnblogs

柔光的暖阳◎/ 2021年12月17日 08:37/ 0 赞/ 288 阅读