Spark安装部署

超、凢脫俗 2024-02-19 15:47 61阅读 0赞

### Spark安装部署 ###

**登录Spark官网下载页面（[http://spark.apache.org/downloads.html）下载Spark][http_spark.apache.org_downloads.html_Spark]**。  
这里选择最新的Spark 1.5.0版spark-1.5.0-bin-hadoop2.6.tgz（Pre-built for Hadoop2.6 and later）。  
然后解压spark安装包至本地指定目录：

tar zxvf spark-1.5.0-bin-hadoop2.6.tgz -C /usr/local/ln -s spark-1.5.0-bin-hadoop2.6 spark

**下面让我们开始Spark的配置之旅吧。**  
**1）打开/etc/profile，末尾加入：**

export SPARK_HOME=/usr/local/spark
    PATH=$PATH:${SPARK_HOME}/bin

关闭并保存profile，然后命令行执行source /etc/profile使配置生效。  
**2）打开/etc/hosts，加入集群中Master及各个Worker节点的ip与hostname配对。**  
x.x.x.x Master-name  
x.x.x.x worker1  
x.x.x.x worker2  
x.x.x.x worker3  
……  
3）进入/usr/local/spark/conf，在命令行执行：

cp spark-env.sh.template spark-env.shvi spark-env.sh

末尾加入：

export JAVA_HOME=/usr/lib/jvm/java-1.7
    export SCALA_HOME=/usr/local/scala
    export SPARK_MASTER_IP=112.74.197.158<以本机为例>
    export SPARK_WORKER_MEMORY=1g

保存并退出，执行命令：

cp slaves.template slavesvi slaves

在其中加入各个Worker节点的hostname。这里以四台机器（master、worker1、worker2、worker3）为例，那么slaves文件内容如下：  
worker1  
worker2  
worker3

[http_spark.apache.org_downloads.html_Spark]: http://spark.apache.org/downloads.html%EF%BC%89%E4%B8%8B%E8%BD%BDSpark

发表评论取消回复

表情：

评论列表（有 0 条评论，61人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 内核 (二) --------- Spark 部署模式

目录一、YARN 模式运行机制 1. YARN Cluster 模式 2. YARN Client 模式二、Standalone

「爱情、让人受尽委屈。」/ 2024年04月07日 13:17/ 0 赞/ 94 阅读

相关 Spark安装部署

Spark安装部署登录Spark官网下载页面（[http://spark.apache.org/downloads.html）下载Spark][http_spark.a

超、凢脫俗/ 2024年02月19日 15:47/ 0 赞/ 62 阅读

相关 spark-2.2.2的安装部署

1.编写Dockerfile FROM centos6.5:v1 LABEL author.email="578888218@qq.com"

港控/mmm°/ 2024年02月19日 14:39/ 0 赞/ 20 阅读

相关【收藏】Spark on k8s Operator 部署安装

[Spark on k8s Operator 部署安装][Spark on k8s Operator] [Spark on k8s Operator]: https://b

た入场券/ 2023年10月03日 11:16/ 0 赞/ 58 阅读

相关 Spark介绍以及安装和部署

一、spark（计算引擎）介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯

缺乏、安全感/ 2023年07月17日 12:46/ 0 赞/ 31 阅读

相关 Spark运行模式及安装部署

目录一、Spark运行模式二、Spark安装地址三、Local模式 3.1 安装使用四、

￡神魔★判官ぃ/ 2022年12月29日 09:39/ 0 赞/ 206 阅读

相关 Spark-Yarn模式安装部署

目录可能碰到的问题 1.解压 Spark 安装包 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -

￡神魔★判官ぃ/ 2022年11月09日 14:18/ 0 赞/ 193 阅读

相关 spark单机部署

2 下载 wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoo

妖狐艹你老母/ 2022年10月12日 15:00/ 0 赞/ 196 阅读

相关 Spark Client部署

1，参考文章（[【Spark】Spark的Standalone模式安装部署][Spark_Spark_Standalone]）进行Spark Client部署时，要注意一点：

绝地灬酷狼/ 2022年09月28日 13:23/ 0 赞/ 154 阅读

相关 Ambari部署Spark

> Add Service ![image-20210223095506581.png][] ![image-20210223095627647.png][] > 集群部

男娘i/ 2022年08月31日 04:52/ 0 赞/ 217 阅读