pyspark打包依赖包&使用python虚拟环境

爱被打了一巴掌 2022-11-07 04:13 1130阅读 0赞

# 一、anaconda创建python环境 #

[anaconda创建python环境][anaconda_python]

在这篇博客中，已经很清楚地描述了如何通过anaconda来创建你需要的python环境：即合适的python版本和包含你需要的依赖包。

# 二、打包python环境 #

假设我们的python环境名称为py\_env，那么在anaconda的安装目录下，会有这么一个目录：`envs/py_env`

在Windows下，直接将使用压缩软件，将其压缩为zip文件（但windows的拿到linux取用就不行了）；

在Linux下，`zip -r py_env.zip py_env`。（必须在py\_env文件夹所在的目录下执行，原因如下）

**在这里要非常注意：我们是对py\_env文件夹进行打包，不能再套上一层文件夹，不然spark会解析出错的**

也就是我们只能对py\_env进行打包，不能是envs/py\_env或者anaconda/envs/py\_env。

再换句话说，我们将py\_env.zip解压之后，就是py\_env文件夹了。

（看到我在这里再三强调，这都是坑呀）

# 三、上传hdfs #

将打包好的py\_env.zip上传至hdfs的对应账号目录下，如为root的话，hdfs的目录为/user/root

`hdfs dfs -put xxx/py_env.zip /user/xxx/`

说明：这一步不是必须的，环境包也可以在本地的。

但是放在本地的话，每次spark-submit运行程序的时候，就会将其上传至hdfs，当作临时文件，执行完毕就删除。

# 四、spark提交 #

前语：记清楚我们的python环境名称为py\_env；

打包的名称为py\_env.zip；

py\_env/bin/python是python可执行程序。

最后，到了激动人心的提交时刻了：

## client模式 ##

`spark-submit --master yarn --deploy-mode client --archives hdfs:///user/root/py_env.zip#PY2 --conf spark.pyspark.driver.python=/xxx/python2.7 --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./PY2/py_env/bin/python /xxx/test.py`

**–archives hdfs:///user/root/py\_env.zip\#PY2**：将hdfs:///user/root/py\_env.zip加入到当前执行环境的根目录下，有点类似java的classpath，然后定向到PY2，即我们访问PY2时，就相当于访问hdfs:///user/root/py\_env.zip；

**spark.pyspark.driver.python**：client模式下，driver端需要使用本地的python环境

**spark.yarn.appMasterEnv.PYSPARK\_PYTHON**：指executor端(任务分配到的节点机器)的python环境指定为我们打包的python环境。

**/xxx/test.py**：最后的是你的spark程序脚本

## cluster模式 ##

`spark-submit --master yarn --deploy-mode cluster --archives hdfs:///user/root/py_env.zip#PY2 --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./PY2/py_env/bin/python /xxx/test.py`

cluster模式与client不同的就是，driver端是集群根据资源情况分配到某一个节点上；

**spark.yarn.appMasterEnv.PYSPARK\_PYTHON**：diver和executor端都统一使用我们打包的python环境。  
==========================================================  
如果不行的话，driver端也特地指定一下：  
`spark-submit --master yarn --deploy-mode cluster --archives hdfs:///user/root/py_env.zip#PY2 --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./PY2/py_env/bin/python --conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=./PY2/py_env/bin/python /xxx/test.py`

# 五、自己的依赖包 #

如果，你还有自己的一些依赖包或者程序(py文件)，那么可以直接在–py-files参数带上。

比如，一个spark包，一个conifg.py，

spark-submit --master yarn --py-files spark,config.py test.py

在代码中，可以直接import

import config
    
    from spark import preprocess

注意：这里的spark必须是包，即需要有\_\_init\_\_.py

![在这里插入图片描述][20210310221741407.png]

# 六、结语 #

在这里，我们在使用pyspark的时候，就可以自由地添加第三方依赖包了，虽然没有java有maven、scala有sbt那样方便的管理和打包依赖包，但是有个好处就是，可以使用不用于现有的python版本，有利于保持稳定的同时，实现更新迭代。  
（网上很多教程都是一个样，全是cluster模式，然后也没说清楚cluster和client模式的区别，无语子！！！）

[anaconda_python]: https://blog.csdn.net/sgyuanshi/article/details/113871549
[20210310221741407.png]: /images/20221023/5d97375fbbee496fb2308e58c7b36a20.png