用scala实现spark版：单词统计案例

你的名字 2022-02-15 17:19 201阅读 0赞

首先吐槽一下csdn，目前不支持scala语言输入！！希望后续维护更新！

import org.apache.spark.{SparkConf, SparkContext}
    import org.apache.spark.rdd.RDD
    
    /**
      * Date:2019/4/24
      * Author:Lynn.cn.Li
      * Desc:学习scala语言开发实现spark版：词计数
      */
    object WordCount {
      def main(args: Array[String]): Unit = {
        //创建SparkConf对象，这只appName和master地址
        val conf: SparkConf = new SparkConf().setAppName("LocalWordCount").setMaster("local[2]")
    
        // 2.创建SparkContext对象
        val context: SparkContext = new SparkContext(conf)
    
        // 3.读取数据文件
    
        val dataRDD: RDD[String] = context.textFile("g://input/1.txt")
    
        //4.切分文件中的每一行,返回文件所有单词
        val wordRDD: RDD[String] = dataRDD.flatMap(_.split(" "))
    
        // 5.每个单词计数为1：(单词，1)
        val wordAndOne: RDD[(String, Int)] = wordRDD.map((_,1))
    
        // 6.相同单词出现的次数累加
        val reslutRDD: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_)
    
        //按照单词出现的次数降序排列
        val sortResultRDD: RDD[(String, Int)] = reslutRDD.sortBy(_._2)
    
        // 7.收集结果数据
        val finalData: Array[(String, Int)] = sortResultRDD.collect()
    
    
        // 8.打印结果数据
        finalData.foreach(x=>println(x))
    
    
    
        //一步链式编程简化
        val tuples: Array[(String, Int)] = context.textFile("g://input/1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2).collect()
    
    
        for(word <- tuples){
          println(word)
        }
    
    
        // 9.关闭SparkContext
        context.stop()
    
      }
    
    }