pyspark的windows7环境搭建

蔚落 2023-07-05 14:56 11阅读 0赞

安装步骤

注意：本篇的所有资源可通过百度网盘提供，减少寻找和下载时间

链接：https://pan.baidu.com/s/1v53Vt5NZEPZigCXE6rjDGQ   
提取码：64pi

#    **1.安装java** #

这里选择version 1.8.，配置环境变量JAVA\_HOME,PATH,CLASSPATH

参考链接：Java JDK8下载地址，Java安装及环境配置

注意java的版本不能太高，否则后面java安装会报错。

# **2.安装scala，配置环境变量** #

(1).从 Scala官网下载目录下载 Scala 二进制包，本教程将下载 2.11.8版本

下载后，双击 msi 文件，一步步安装即可，安装过程使用默认的安装目录即可。

(2).右击【我的电脑】--【属性】--【高级系统设置】--【环境变量】

设置 **SCALA\_HOME** 变量：单击新建，变量名输入：SCALA\_HOME，变量值输入：C:\\scala，即 Scala 的安装目录

注意安装目录名称不能有空格。  
设置 **Path** 变量：找到Path，单击编辑。变量值添加如下的路径： %SCALA\_HOME%\\bin;%SCALA\_HOME%\\jre\\bin;

注意：后面的分号 ； 不要漏掉。  
设置 Classpath 变量：找到ClassPath，单击编辑。变量值添加：.;%SCALA\_HOME%\\bin;%SCALA\_HOME%\\lib\\dt.jar;%SCALA\_HOME%\\lib\\tools.jar.;

(3).检查软件是否安装成功

cmd中输入 scala，看到如下结果，说明安装成功。

![70][]

#  **3.安装spark，配置环境变量** #

(1).从Spark官网下载地址下载需要的spark版本，下载并解压到本地某目录下即可。

![70 1][]

(2).配置环境变量

设置SPARK\_HOME变量：新建系统变量，变量名输入：SPARK\_HOME，变量值输入：C:\\spark\\spark-2.1.0-bin-hadoop2.7

设置Path变量，找到Path变量，点击编辑，变量值输入： %SPARK\_HOME%\\bin;

# **4.安装hadoop，配置环境变量** #

(1).从hadoop官网下载地址下载需要的hadoop版本，下载并解压到本地某目录下即可。

(2).配置环境变量

设置**HADOOP\_HOME**变量：新建系统变量，变量名输入：HADOOP\_HOME，变量值输入：C:\\hadoop\\hadoop-2.7.6

设置**Path**变量，找到Path变量，点击编辑，变量值添加： %HADOOP\_HOME%\\bin;

# **5.安装winutil.exe** #

从[winutil下载地址][winutil]下载地址下载hadoop对应版本的winutil.exe

进入hadoop-2.7.1/bin/，下载winutil.exe，并将其拷贝到hadoop的bin目录下，我这里为C:\\hadoop\\hadoop-2.7.6\\bin

通过cmd进入C:\\hadoop\\hadoop-2.7.6\\bin目录，并运行如下命令：

winutils.exe chmod -R 777 c:/tmp/Hive

# **6.配置其他相关** #

(1).将spark所在目录下的pyspark文件夹（C:\\spark\\spark-2.1.0-bin-hadoop2.7\\python）拷贝到python文件夹下（C:\\Anaconda3\\Lib\\site-packages）

注意：需安装python3.5(对应的anaconda版本为Anaconda3-4.2.0-Windows-x86\_64.exe)，spark不支持python3.6

(2).重命名spark/conf下的spark-env.template为spark-env，并修改spark-env文件，最后加入如下三行：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzk0ODkx_size_16_color_FFFFFF_t_70][]

(3).通过Anaconda navigator的Environments安装py4j库

这里默认已经安装好了Anaconda

pyspark依赖于py4j，导入之前必须确保已安装py4j库

(4).添加系统环境变量  
新建系统变量，变量名输入：PYTHONPATH，变量值输入：%SPARK\_HOME%\\python\\lib\\py4j;%SPARK\_HOME%\\python\\lib\\pyspark

# **7.检查软件是否安装成功** #

cmd中输入 pyspark，看到如下结果，说明安装成功。

![70 2][]

[70]: https://img-blog.csdn.net/20181018180054548?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM0MDIzMjE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: https://img-blog.csdn.net/20181019104747957?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM0MDIzMjE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[winutil]: https://github.com/steveloughran/winutils
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzk0ODkx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200216002945529.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1Mzk0ODkx,size_16,color_FFFFFF,t_70
[70 2]: https://img-blog.csdn.net/20181019162859173?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM0MDIzMjE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70