实战：大数据Spark简介与docker-compose搭建独立集群

柔情只为你懂 2024-03-24 20:15 8阅读 0赞

#### 文章目录 ####

*   *  前言
     *  技术积累
     *   *  Spark简介
         *  Spark核心功能及优势
         *  Spark运行架构
     *  Spark独立集群搭建
     *   *  安装docker和docker-compose
         *  docker-compose编排
         *  docker-compose编排并运行容器
     *  Spark集群官方案例测试
     *  写在最后

### 前言 ###

很多同学都使用过经典的大数据分布式计算框架hadoop，其分布式文件系统HDFS对数据管理很友好，但是计算能力较Spark还是不足。俗话说工欲善其事必先利其器，今天就介绍docker容器化部署Spark集群。

### 技术积累 ###

#### Spark简介 ####

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。对于分布式计算方面Spark基于内存进行分布式计算，大大提升性能。  
![在这里插入图片描述][e40489442675432e8d6b48d4cb7a1d75.png]

#### Spark核心功能及优势 ####

更快的速度  
内存计算下，Spark 比 Hadoop 快100倍。  
易用性  
Spark 提供了80多个高级运算符。  
通用性  
Spark 提供了大量的库，包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。 开发者可以在同一个应用程序中无缝组合使用这些库。  
支持多种资源管理器  
Spark 支持 Hadoop YARN，Apache Mesos，及其自带的独立集群管理器

#### Spark运行架构 ####

Spark框架的核心是一个计算引擎，整体来说，它采用了标准的master-slave的结构  
图所示：展示了一个Spark执行时的基本架构，图中的Driver表示master，负责管理整个集群中的作业任务调度。图中的Executor则是slave，负责实际执行任务。  
![在这里插入图片描述][d69bd76ecc11402683b928b1176cdd13.png]

用户程序创建 SparkContext 后，它会连接到集群资源管理器，集群资源管理器会为用户程序分配计算资源，并启动 Executor；  
Driver 将计算程序划分为不同的执行阶段和多个 Task，之后将 Task 发送给 Executor；  
Executor 负责执行 Task，并将执行状态汇报给 Driver，同时也会将当前节点资源的使用情况汇报给集群资源管理器。

### Spark独立集群搭建 ###

#### 安装docker和docker-compose ####

docker与docker-compose安装
    #安装docker社区版
    yum install docker-ce
    #版本查看
    docker version
    #docker-compose插件安装
    curl -L https://github.com/docker/compose/releases/download/1.21.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
    #可执行权限
    chmod +x /usr/local/bin/docker-compose
    #版本查看
    docker-compose version

#### docker-compose编排 ####

docker-compose-spark.yaml

version: "3.3"
    services:
      master:
        image: registry.cn-hangzhou.aliyuncs.com/senfel/spark:3.2.1
        container_name: master
        user: root
        command: " /opt/bitnami/java/bin/java -cp /opt/bitnami/spark/conf/:/opt/bitnami/spark/jars/* -Xmx1g org.apache.spark.deploy.master.Master --host master --port 7077 --webui-port 8080 "
        environment:
          - SPARK_MODE=master
          - SPARK_RPC_AUTHENTICATION_ENABLED=no
          - SPARK_RPC_ENCRYPTION_ENABLED=no
          - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
          - SPARK_SSL_ENABLED=no
        volumes:
          - ./python:/python
        network_mode: host
        extra_hosts:
          - "master:10.10.22.91"
          - "localhost.localdomain:127.0.0.1"
    
      worker1:
        image: registry.cn-hangzhou.aliyuncs.com/senfel/spark:3.2.1
        container_name: worker1
        user: root
        environment:
          - SPARK_MODE=worker
          - SPARK_MASTER_URL=spark://master:7077
          - SPARK_WORKER_MEMORY=1G
          - SPARK_WORKER_CORES=1
          - SPARK_RPC_AUTHENTICATION_ENABLED=no
          - SPARK_RPC_ENCRYPTION_ENABLED=no
          - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
          - SPARK_SSL_ENABLED=no
        network_mode: host
        extra_hosts:
          - "master:10.10.22.91"
          - "localhost.localdomain:127.0.0.1"
      worker2:
        image: registry.cn-hangzhou.aliyuncs.com/senfel/spark:3.2.1
        container_name: worker2
        user: root
        environment:
          - SPARK_MODE=worker
          - SPARK_MASTER_URL=spark://master:7077
          - SPARK_WORKER_MEMORY=1G
          - SPARK_WORKER_CORES=1
          - SPARK_RPC_AUTHENTICATION_ENABLED=no
          - SPARK_RPC_ENCRYPTION_ENABLED=no
          - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
          - SPARK_SSL_ENABLED=no
        network_mode: host
        extra_hosts:
          - "master:10.10.22.91"
          - "localhost.localdomain:127.0.0.1"

#### docker-compose编排并运行容器 ####

docker-compose -f docker-compose-spark.yaml up -d  
![在这里插入图片描述][da2fc08fef5342c7a02d7fdd8a34dc92.png]

浏览器访问  
http://10.10.22.91:8080/  
![在这里插入图片描述][decce31d285b48ebbfc8e0404885a6f6.png]

至此Spark独立集群搭建完成。  
当然如果需要整合HDFS可以直接搭建一个Hadoop集群。这里不再累述，请参照之前的博文。  
![在这里插入图片描述][6c41674e96b044cdaca8d7588cbf20d6.png]

### Spark集群官方案例测试 ###

1、任意选择一个节点执行圆周率计算，这里选择master  
\#查看spark master容器信息  
docker ps | grep master  
\#进入容器 默认就会进入/opt/bitnami/spark  
docker exec -it master bash  
\#执行官方计算圆周率的案例  
./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples\_2.12-3.2.1.jar 1000

参数：  
–master 提交集群  
–class 运行主类路径  
1000 运行1000次

2、查看执行结果  
Pi is roughly 3.141485671414857  
计算次数越多这个圆周率精度越准确  
![在这里插入图片描述][818862398803424fb5d5f5d66c8f3589.png]  
![在这里插入图片描述][5a26b543c7bb4f18950fc8b22844c0a6.png]

### 写在最后 ###

Spark是采用分布式数据集RDD对数据进行管理，用内存进行分布式计算，它的性能叫hadoop有显著的提升。对于Spark独立集群的搭建我们用docker容器也是比较的简单，当然，我们也可以集成在springboot开发出适应业务的功能安装需求进行远程提交任务。

[e40489442675432e8d6b48d4cb7a1d75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/04539ad9f2f04ae185e92dfa036c40ef.png
[d69bd76ecc11402683b928b1176cdd13.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/70ecfa8d34e44714a8e3b048772db2ec.png
[da2fc08fef5342c7a02d7fdd8a34dc92.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/79eaf36b4f2c4445af806f6f198c7cae.png
[decce31d285b48ebbfc8e0404885a6f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/ae2544cd4ffc4f4d86bfc58de7483628.png
[6c41674e96b044cdaca8d7588cbf20d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/7db27454734547368b1b93cbc944f1be.png
[818862398803424fb5d5f5d66c8f3589.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/49ece86036d042c683e20ecfc60d848a.png
[5a26b543c7bb4f18950fc8b22844c0a6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/2e56bb9f108f401d9d37f3b15910a050.png