安装分布式spark

骑猪看日落 2023-02-18 10:53 122阅读 0赞

1. 下载

[http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

如：版本自行选择

sudo wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop3.2.tgz

2. 解压

sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop3.2.tgz -C  /usr/local/bigdata/

mv spark-3.0.0-preview2-bin-hadoop3.2/ spark

3. 配置环境变量

vim ~/.bashrc

加入以下内容：

export JAVA_HOME=/usr/local/jdk
    export SPARK_HOME=/usr/local/bigdata/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4.1  配置slave文件

sudo cp ./conf/slaves.template ./conf/slaves

编辑slaves文件，指定子节点

slave1
    slave2

4.2 配置spark-env.sh，加入以下内容

sudo cp ./conf/spark-env.sh.template ./conf/spark-env.sh

编辑加入以下内容

export SPARK_DIST_CLASSPATH=$(/usr/local/bigdata/hadoop/hadoop-3.2.1/bin/hadoop classpath)
    export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/hadoop-3.2.1/etc/hadoop
    export SPARK_MASTER_IP=主节点的ip

注：注意ip是master的ip，文件路径要对，是基于hadoop的文件路径

5. 打包并且发送到两个slave节点

打包

tar -zcf ~/spark.master.tar.gz ./spark

发送到子节点

cd ~
    scp spark.master.tar.gz slave2:/home/hadoop/

6. slave节点解压

sudo tar -zxf ~/spark.master.tar.gz -C /usr/local/bigdata

![2020061809211227.png][]

7. 启动集群

主节点执行

./sbin/start-master.sh

权限不足执行：

sudo chown -R hadoop hadoop ./spark/

启动成功

![20200618101551284.png][]

可以看出多出了一个Master进程，说明master启动成功

下面启动slave节点，在master节点执行

./sbin/start-slaves.sh

![20200618101213148.png][]

可以看出子节点多出了一个Work进程。

访问http://master:8080

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70][]

安装完毕！

[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[2020061809211227.png]: https://img-blog.csdnimg.cn/2020061809211227.png
[20200618101551284.png]: https://img-blog.csdnimg.cn/20200618101551284.png
[20200618101213148.png]: https://img-blog.csdnimg.cn/20200618101213148.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020061810540012.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw==,size_16,color_FFFFFF,t_70