Windows10安装spark（包括hadoop安装）

本是古典何须时尚 2022-04-14 04:59 559阅读 0赞

**（作者：陈玓玏）**

## 环境安装 ##

命令行中输入java –version，看是否能正确输出版本信息，不能则需要安装，可以自己搜索一下Windows下java环境的安装。

## Scala安装 ##

下载地址：[http://www.scala-lang.org/download/2.11.8.html][http_www.scala-lang.org_download_2.11.8.html]  
![在这里插入图片描述][20181124213450713.]  
下载安装后配置路径，在环境变量的系统变量path中添加以下链接：  
![在这里插入图片描述][20181124213500350.]  
在命令行输入scala，能够输出版本信息即安装成功。

## Spark安装 ##

下载地址：[http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70]  
我选择的版本是spark-2.3.2-bin-hadoop2.7，下载后解压，并把bin文件夹的路径添加到环境变量的系统变量path中，如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 1]  
此时即可使用spark，在命令行输入spark-shell，结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 2]  
（这个图是另一个版本的，主要是为了说明没安装hadoop时候存在的问题）

这一步可能出现一个问题，就是报“此时不应有 java jdk1.8.0\_152”的错误，可能是环境变量中JAVA\_HOME有不可识别字符，考虑更换一下jdk文件放置的路径，比如我把jdk从C:\\Program Files (X86)换到了C:\\Program Files，然后对应地修改JAVA\_HOME就可以正常输入spark-shell了，最好是存放jdk的地址中都不要有空格。（参考文章：[https://www.jianshu.com/p/ba908e9abe69][https_www.jianshu.com_p_ba908e9abe69] ）

此时的spark不是完整版的，因为还没有安装hadoop，所以是不能使用hadoop的功能，如果想要进一步提高使用效率，需要安装hadoop。

## 安装Hadoop ##

下载地址：[http://hadoop.apache.org/releases.html][http_hadoop.apache.org_releases.html]  
选择一个版本的Hadoop下载到本地，并解压，然后设置环境变量。这里的环境变量有些不一样，不仅要改path变量，还要添加一个HADOOP\_HOME的变量。HADOOP\_HOME设置为hadoop的根目录C:\\Program Files\\hadoop-2.7.7，path中添加C:\\Program Files\\hadoop-2.7.7\\bin。

Hadoop安装还有一步，winutils下载安装：[https://github.com/steveloughran/winutils，我是用git][https_github.com_steveloughran_winutils_git] bash把这个文件克隆下来的，在git bash中输入：  
git clone [https://github.com/steveloughran/winutils.git][https_github.com_steveloughran_winutils.git]  
下载后的文件有可能不好找，那么路径可以这么找：

$ls  #查看git路径下有些什么文件
    $cd winutils   #打开下载的winutils文件夹
    $pwd   #查看文件夹的路径

找到这个路径后，在路径下找到对应版本的hadoop文件夹下的bin文件夹，替换你所使用的hadoop的bin文件夹，然后安装就完成了~

完成后输入spark-shell结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 3]  
就不会提示winutils不能执行了。

## 可视化spark管理界面 ##

输入以下网址即可查看：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 4]  
使用pyspark交互  
在命令行窗口中输入pyspark即可，结果如下：  
![在这里插入图片描述][2018112421375860.]

## 在anaconda中使用pyspark ##

打开spyder，在菜单栏中找到tools-PYTHONPATH\_manager，添加spark下的python路径和python/lib路径，如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 5]  
解压python\\lib路径下的py4j-0.10.7-src.zip压缩文件到当前文件夹，否则会报找不到py4j的错，然后重启spyder即可使用。

在运行时如果报错sc没有被定义。  
程序中要加入下面的一段即可。

from pyspark import SparkContext
    from pyspark import SparkConf
    conf = SparkConf().setAppName("test")
    sc = SparkContext(conf=conf)

参考资料：  
1、 [https://blog.csdn.net/songhaifengshuaige/article/details/79480491][https_blog.csdn.net_songhaifengshuaige_article_details_79480491]

[http_www.scala-lang.org_download_2.11.8.html]: http://www.scala-lang.org/download/2.11.8.html
[20181124213450713.]: /images/20220414/fe618d5659d041e0b0db2322268d76fc.png
[20181124213500350.]: /images/20220414/4cfa637a498146f0aff64d8b77b4b881.png
[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70]: /images/20220414/07f93da9c4b7413d9a7c3b7fb5e454c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 1]: /images/20220414/ebf6497236824360a98b032b2e7c47a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 2]: /images/20220414/e1fb38e903df428fbddafe25a73246a6.png
[https_www.jianshu.com_p_ba908e9abe69]: https://www.jianshu.com/p/ba908e9abe69
[http_hadoop.apache.org_releases.html]: http://hadoop.apache.org/releases.html
[https_github.com_steveloughran_winutils_git]: https://github.com/steveloughran/winutils%EF%BC%8C%E6%88%91%E6%98%AF%E7%94%A8git
[https_github.com_steveloughran_winutils.git]: https://github.com/steveloughran/winutils.git
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 3]: /images/20220414/02d722c3a990401bb8be4e728e16c530.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 4]: /images/20220414/219eedf102b940999b3a56ff14856c63.png
[2018112421375860.]: /images/20220414/e2832a4a681c43ea956afc75bc704f4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc1MDA4NA_size_16_color_FFFFFF_t_70 5]: /images/20220414/e35382231bc1415fb0933bf42ac60676.png
[https_blog.csdn.net_songhaifengshuaige_article_details_79480491]: https://blog.csdn.net/songhaifengshuaige/article/details/79480491