Mac安装Spark

电玩女神 2021-09-14 07:30 570阅读 0赞

一、安装scala  
1、下载taz包  
进入http://www.scala-lang.org/download/  
下载后解压

2.配置环境变量  
  
Mac修改 .bash\_profile 文件，此文件是mac 当前用户的环境配置文件。  
/etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个）  
  
.bash\_profile 文件的路径是在当前用户下。  
  
vim ~/.bash\_profile  
  
//添加如下信息  
export SCALA\_HOME=/usr/local/share/scala-2.12.4  
export PATH=$PATH:$SCALA\_HOME/bin  
  
3.检验结果  
  
在终端输入scala 命令，进入scala解释器，然后输入1＋2，查看计算结果。  
  
如下图说明安装成功：  
输入  
:q  
或  
:quit

二、安装spark

要本地安装spark不必要用到scala！要本地安装spark不必要用到scala！要本地安装spark不必要用到scala！要本地安装spark不必要用到scala！  
  
1、下载  
http://spark.apache.org/downloads.html  
笔者下载的是spark-2.2.0-bin-hadoop2.7.tgz  
  
2、解压  
tar -xvzf spark-2.2.0-bin-hadoop2.7.tgz  
3、 启动  
cd /usr/local/share/spark-2.2.0-bin-hadoop2.7/sbin  
sh start-master.sh  
  
验证启动，打开浏览器。   
  
http://localhost:8080

4、跑个实例

回到浏览器的“http://localhost:8080/”页面，页面中显示了sprak的地址：

**Spark Master at spark://linbingwendeMacBook-Pro.local:7077**  
  
这个网址就是spark任务运行时和网址和端口  
输入如下：  
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT  
  
然后http://localhost:8080 在“Workers”列表下赫然出现了你的第一个子嗣。其状态State为ALIVE。表示它正在运作。这时候你需要记住，当前Terminal的窗口对应就是那个刚加入的Worker Id。  
  
 结束任务

“Ctrl ＋ C”就行了。  
  
5、结束整个spark  
  
和启动主机一样，在主文件夹路径下输入相应命令即可。  
  
./sbin/stop-master.sh  
这时http://localhost:8080/ 刷新后就是空网页了。