CentOS7 基于Hadoop2.7 的Spark2.0集群搭建

落日映苍穹つ 2022-09-26 02:23 79阅读 0赞

*  序言
 *  上传文件到各服务器
 *  安装配置Scala
 *  安装配置Spark
 *  配置集群
 *  启动集群
 *  测试Spark集群

# 序言 #

1.  Hadoop 2.7 集群已搭建完毕. 参考“CentOS7 从零开始搭建 Hadoop2.7集群‘’。（node 192.168.169.131, node1 192.168.169.133, node2 192.168.169.132, node3 192.168.169.134）
2.  本地下载 [scala-2.11.8.tgz][]：
3.  本地下载 [spark-2.0.0-bin-hadoop2.7.tgz][]

# 上传文件到各服务器。 #

1.  上传文件
    
        pscp.exe -pw 12345678 scala-2.11.8.tgz root@192.168.169.131:/usr/local 
        
        pscp.exe -pw 12345678 spark-2.0.0-bin-hadoop2.7.tgz root@192.168.169.131:/usr/local

# 安装配置Scala #

1.  设置临时变量
    
        scalaFolder='/usr/lib/scala-2.11.8'
2.  解压文件夹
    
        tar -zxvf /usr/local/scala-2.11.8.tgz
        mv  /usr/lib/scala-2.11.8 ${scalaFolder}
3.  设置环境变量
    
        echo export SCALA_HOME=${scalaFolder} >> /etc/profile
        echo export 'PATH=$PATH:$SCALA_HOME/bin' >> /etc/profile

# 安装配置Spark #

1.  设置临时变量
    
        sparkFolder='/home/hadoop/spark2.0'
2.  解压文件并修改文件属性
    
        tar -zxvf /usr/local/spark-2.0.0-bin-hadoop2.7.tgz
        mv /usr/local/spark-2.0.0-bin-hadoop2.7  ${sparkFolder}
        chown -R hadoop:hadoop ${sparkFolder}
        chmod -R g=rwx ${sparkFolder}
3.  设置环境变量
    
        echo  export SPARK_HOME=${sparkFolder} >> /etc/profile
        source /etc/profile

# 配置集群 #

1.  创建文件 /home/hadoop/spark2.0/conf/slaves
    
        node1
        node2
        node3
2.  创建文件/home/hadoop/spark2.0/conf/spark-env.sh
    
        #!/usr/bin/env bash 
        export SCALA_HOME=/usr/lib/scala-2.11.8

# 启动集群 #

1.  启动hadoop 集群
    
        $HADOOP_HOME/sbin/start-all.sh
2.  启动spark集群
    
        $SPARK_HOME/sbin/start-all.sh
3.  验证集群状态
    
     *  192.168.169.131:8080 \#spark
        
        ![hadoop][]
     *  192.168.169.131:50070 \#hdfs  
        ![spark][]

# 测试Spark集群 #

1.  运行测试例子
    
        MASTER=spark://node:7077 ./bin/run-example SparkPi
    
    ![output][]

[scala-2.11.8.tgz]: http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
[spark-2.0.0-bin-hadoop2.7.tgz]: http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
[hadoop]: /images/20220717/b9e1cfa7fc414495a4c7949bef5486fe.png
[spark]: /images/20220717/6b8fe1092aef4e979eedf4f429a3f209.png
[output]: /images/20220717/508b24e640f04106b23cef6341bdd39b.png