Spark安装部署

超、凢脫俗 2024-02-19 15:47 13阅读 0赞

### Spark安装部署 ###

**登录Spark官网下载页面（[http://spark.apache.org/downloads.html）下载Spark][http_spark.apache.org_downloads.html_Spark]**。  
这里选择最新的Spark 1.5.0版spark-1.5.0-bin-hadoop2.6.tgz（Pre-built for Hadoop2.6 and later）。  
然后解压spark安装包至本地指定目录：

tar zxvf spark-1.5.0-bin-hadoop2.6.tgz -C /usr/local/ln -s spark-1.5.0-bin-hadoop2.6 spark

**下面让我们开始Spark的配置之旅吧。**  
**1）打开/etc/profile，末尾加入：**

export SPARK_HOME=/usr/local/spark
    PATH=$PATH:${SPARK_HOME}/bin

关闭并保存profile，然后命令行执行source /etc/profile使配置生效。  
**2）打开/etc/hosts，加入集群中Master及各个Worker节点的ip与hostname配对。**  
x.x.x.x Master-name  
x.x.x.x worker1  
x.x.x.x worker2  
x.x.x.x worker3  
……  
3）进入/usr/local/spark/conf，在命令行执行：

cp spark-env.sh.template spark-env.shvi spark-env.sh

末尾加入：

export JAVA_HOME=/usr/lib/jvm/java-1.7
    export SCALA_HOME=/usr/local/scala
    export SPARK_MASTER_IP=112.74.197.158<以本机为例>
    export SPARK_WORKER_MEMORY=1g

保存并退出，执行命令：

cp slaves.template slavesvi slaves

在其中加入各个Worker节点的hostname。这里以四台机器（master、worker1、worker2、worker3）为例，那么slaves文件内容如下：  
worker1  
worker2  
worker3

[http_spark.apache.org_downloads.html_Spark]: http://spark.apache.org/downloads.html%EF%BC%89%E4%B8%8B%E8%BD%BDSpark

发表评论取消回复

表情：

评论列表（有 0 条评论，13人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 内核 (二) --------- Spark 部署模式

目录一、YARN 模式运行机制 1. YARN Cluster 模式 2. YARN Client 模式二、Standalone

「爱情、让人受尽委屈。」/ 2024年04月07日 13:17/ 0 赞/ 49 阅读

相关 Spark安装部署

Spark安装部署登录Spark官网下载页面（[http://spark.apache.org/downloads.html）下载Spark][http_spark.a

超、凢脫俗/ 2024年02月19日 15:47/ 0 赞/ 14 阅读

相关 Spark运行模式及安装部署

目录一、Spark运行模式二、Spark安装地址三、Local模式 3.1 安装使用四、

￡神魔★判官ぃ/ 2022年12月29日 09:39/ 0 赞/ 143 阅读

相关 Spark-Yarn模式安装部署

目录可能碰到的问题 1.解压 Spark 安装包 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -

￡神魔★判官ぃ/ 2022年11月09日 14:18/ 0 赞/ 146 阅读

相关 centos7部署spark

目录 1、检查centos网络是否正常 2、实验下载文件保存目录：/home/wyl/cluster下(自行创建) 3、导入.tgz包 4、解压 5、复制并修改s

蔚落/ 2022年10月29日 03:22/ 0 赞/ 166 阅读

相关 spark单机部署

2 下载 wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoo

妖狐艹你老母/ 2022年10月12日 15:00/ 0 赞/ 145 阅读

相关 Spark Client部署

1，参考文章（[【Spark】Spark的Standalone模式安装部署][Spark_Spark_Standalone]）进行Spark Client部署时，要注意一点：

绝地灬酷狼/ 2022年09月28日 13:23/ 0 赞/ 107 阅读

相关 Ambari部署Spark

> Add Service ![image-20210223095506581.png][] ![image-20210223095627647.png][] > 集群部

男娘i/ 2022年08月31日 04:52/ 0 赞/ 154 阅读

相关 spark集群部署

1、下载spark,在这之前需要安装scala wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-

妖狐艹你老母/ 2022年05月14日 07:04/ 0 赞/ 166 阅读

相关 spark的分布式部署

目录 1.spark是什么？ 2.spark的原理 3. spark的分布式部署 3.1 机器信息 3.2 安装前准备工作 3.2.1 jdk的安装 3.2

布满荆棘的人生/ 2022年01月26日 23:11/ 0 赞/ 220 阅读