从Spark WordCount程序认识Spark架构（二）

野性酷女 2023-07-10 12:54 24阅读 0赞

#### 前言 ####

在上文中我们学习到了RDD(弹性分布式数据集)的基础概念，而本文介绍的wordcount，相当于入门spark的hello word程序。

我们准备一个nohup.out文件，内容如下：

my 
    name 
    is 
    hyq 
    hyq
    hyq

#### 引入依赖 ####

首先新建一个maven工程，引入spark-core依赖,使用的版本为2.3.1。

<scala.binary.version>2.11</scala.binary.version>
    <spark.version>2.3.1</spark.version>
    
    <dependency>
    	<groupId>org.apache.spark</groupId>
    	<artifactId>spark-core_${scala.binary.version}</artifactId>
    	<version>${spark.version}</version>
    	<scope>provided</scope>
    </dependency>

#### 程序编写 ####

public class wordCount {
    
        public static void main(String[] args) {
    
    
            //用于saprk应用的的配置，
            // 默认情况下： spark.*开头的系统变量会被加载
            //但是直接在对象上设置的同名属性，优先级高于系统变量。
            //一旦创建，在运行时不支持动态修改。
            SparkConf sparkConf = new SparkConf()
                    .setMaster("local")
                    .setAppName("hyq-word-count-app");
    
    
            //解决本地运行spark报错heap size不足的问题
            sparkConf.set("spark.testing.memory",(512 * 1014 * 1024)+"");
    
    
            //Spark功能的主要入口点
            //它的主要作用有：
            //1) 代表着和sapark集群的链接
            //2) 用于进行RDD的创建、累加和在集群中广播变量使用。
            SparkContext sparkContext = new SparkContext(sparkConf);
    
            JavaSparkContext sc = new JavaSparkContext(sparkContext);
    
    
            //Read a text file from HDFS, a local file system (available on all nodes),
            // or any Hadoop-supported file system URI,
            // and return it as an RDD of Strings.
            //textFile可以从hdfs,本地文件系统（在集群模式下，需要所有节点可见）
            JavaRDD<String> linesRdd = sc.textFile("C:\\Users\\Administrator\\Desktop\\nohup.out");
    
    
            //将单词按照空格分隔
            JavaPairRDD<String, Integer> pairRDD = linesRdd.flatMap((FlatMapFunction<String, String>) line -> {
                List<String> list = Arrays.asList(line.split(" "));
                return list.iterator();
            }).mapToPair((PairFunction<String, String, Integer>) word -> new Tuple2(word, 1))
                    .reduceByKey((Function2<Integer, Integer, Integer>) (x, y) -> x + y);
    
    
            pairRDD.foreach((VoidFunction<Tuple2<String, Integer>>) tuple -> {
                System.out.println("单词："+tuple._1 +"出现次数： "+ tuple._2);
            });
        }
    }

计算结果输出内容：

单词：is出现次数： 1
    单词：name出现次数： 1
    单词：hyq出现次数： 3
    单词：my出现次数： 1

#### 核心类的理解和学习 ####

![file][]

##### SparkConf 类 #####

SparkConf包含了初始化spark集群配置的参数，默认情况下，无参的构造函数：new SparkConf()，会加载spark.\*开头的java系统变量，同时  
也可以通过sparkConf.set(key,value)。的形式设置变量和值。  
但是直接在对象上设置的同名属性，优先级高于系统变量，一旦创建，在运行时不支持动态修改。

##### SparkContext 类 #####

代表着和sapark集群的链接。用于进行RDD的创建、累加和在集群中广播变量使用。

##### JavaSparkContext 类 #####

SparkContext的Java版本，返回javardd并且使用Java集合而不是Scala集合。

##### JavaRDD 类 #####

Spark是Scala写的。JavaRDD就是Spark为Java写的一套API。

##### JavaPairRDD 类 #####

JavaRDD => JavaPairRDD: 通过mapToPair函数  
JavaPairRDD => JavaRDD: 通过map函数转换

##### 宽依赖和窄依赖 #####

![file][file 1]

窄依赖：父RDD中，每个分区内的数据，都只会被子RDD中特定的分区所消费，为窄依赖：

宽依赖：父RDD中，分区内的数据，会被子RDD内多个分区消费，则为宽依赖：

一句话描述：父RDD中分区内的数据，是否在子类RDD中也完全处于一个分区，如果是，窄依赖，如果不是，宽依赖。

##### 算子操作 #####

spark中的数据都是抽象为RDD的，它支持两种类型的算子操作：Transformation和Action。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候，代码才会真正的被执行。

![file][file 2]

##### job和stage和task都是什么？ #####

当在程序中遇到一个action算子的时候，就会提交一个job。

每个Job被分为小的计算任务组，每组称为一个stage。  
而在一个job 中划分stage 的一个重要依据是否有shuflle 发生 ，也就是是否会发生数据的重组 （重新组织数据）。

shuffle依赖是两个stage的分界点。shuffle操作一般都是任务中最耗时耗资源的部分。因为数据可能存放在不同的节点上，

下一个stage的执行首先要去拉取上一个stage的数据（shuffle read操作），保存在自己的节点上，就会增加网络通信和IO。

而Task是真正执行的工作单元，对一个Stage之内的RDD进行串行操作的计算任务。多个Task组成一个Stage。

##### WordCount执行逻辑图 #####

![file][file 3]

上述逻辑图配合线上运行的UI视图来加深先前提出的各个逻辑理念。

![file][file 4]

#### 总结 ####

本篇文章，我们使用spark编写了一个入门级的WordCount程序，通过程序：

*  了解到了通过文本文件创建RDD的方式，和RDD的转换。
 *  初步了解了Spark的常用api的使用。
 *  宽依赖和窄依赖的概念。
 *  两种类型的算子操作。
 *  wordcount程序的逻辑流程图理解。

[file]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5saWZlaGVscGVyLnRvcC9Gbm9mTkRBUDR6enFCeFFoWkhjaDVXbXEtbWY0?x-oss-process=image/format,png
[file 1]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5saWZlaGVscGVyLnRvcC9GbXFmbGpIbDR2aTh4MmhFRlU3OHBxNTBRUWtP?x-oss-process=image/format,png
[file 2]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5saWZlaGVscGVyLnRvcC9GaTV1bGhFcFpsT191b1ZrN2NmOG1HeFJzWXpE?x-oss-process=image/format,png
[file 3]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5saWZlaGVscGVyLnRvcC9Gbnl1WnUza2RTWWZQNkg2YWZKdVU0aUFDSzFG?x-oss-process=image/format,png
[file 4]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5saWZlaGVscGVyLnRvcC9GczM2MUg3QVVWb1BmUS1pVTNZYWEtZHNEX3U0?x-oss-process=image/format,png