win10下安装pyspark及碰到的问题

ゞ浴缸里的玫瑰 2023-03-04 08:10 21阅读 0赞

### 文章目录 ###

*  前言
 *  安装过程
 *   *  Q1
 *  总结：

# 前言 #

最近由于工作需要，需要了解下pyspark，所以就在win10环境下装了下，然后在pycharm中使用的时候碰到了一些问题。整个过程可谓是一波三折。下面一一道来。

# 安装过程 #

安装过程就不详细说了，网上一搜一大堆，这里写下自己参考的博文：  
[https://blog.csdn.net/w417950004/article/details/77203501][https_blog.csdn.net_w417950004_article_details_77203501]

安装好之后如何在pycharm中使用？  
网上有文章说要在对应的文件中配置相关的spark\_home地址等。  
详情参考：[https://www.cnblogs.com/hello-yz/p/9306099.html][https_www.cnblogs.com_hello-yz_p_9306099.html]  
其实没必要，因为我们在按照上面博文安装pyspark的过程中声明了相关的变量为全局变量，所以完全没必要在pycharm的文件中重复声明，相反这样做可能会带来一些负面效果。这时候，只需要将pyspark的代码放入pycharm中运行即可。但是中间会遇到一些问题下面一一来解答。

## Q1 ##

在pycharm中执行pyspark脚本报错：**TypeError: namedtuple() missing 3 required keyword-only arguments: 'rename’**

原因：pyspark和python版本不兼容。  
解决办法：  
参考：[https://blog.csdn.net/u010916338/article/details/106108266][https_blog.csdn.net_u010916338_article_details_106108266]

但是博主按照上面的解决方案降低python版本到3.5之后，问题依旧存在。  
事情的过程：  
背景：  
博主之前就装的有python3.7版本的anaconda。所以为了不影响之前的3.7环境，选择了通过利用conda建虚拟环境的方法来新建3.5的虚拟环境，然后将pycharm的解释器更换为3.5的虚拟环境，来运行pyspark代码。but，问题依旧存在。（PS：很郁闷，不是说好的是版本的兼容的问题，我按照方案降了版本，为什么还是报上面的错误）无奈，以为是解决方案的问题，遂又google，baidu了一番。发现这个错位的原因就是spark和python版本兼容的问题，解决方案没问题。那到底是哪的原因呢？  
为了解决心中的疑惑，博主走上了实验之路，先是在windows命令行以命令的形式利用python3.5解释器去运行脚本如： " \#\#\#\#\#\#\\envs\\python35 \#\#\#\#\#\#\\pyspark\_demo.py" ，依旧报上面的版本不兼容的错误。接下来在命令行，通过"activate py35"指令开启python3.5虚拟环境，然后执行“python \#\#\#\#\#\#\\pyspark\_demo.py”指令，运行pyspark程序竟然跑通了。。。一脸问号，这是为什么呢？为什么只有进入虚拟环境运行脚本才能跑通，在外部通过虚拟环境指令运行脚本就跑不通呢?  
后面分析可能是spark包在被调用的时候，引用的系统默认的python环境，当时我的默认python环境为3.7（也就是你在命令行输入python指令，启动的是3.7版本）。所以如果你没有进入python3.5的虚拟环境，而是在外部执行pyspark程序的话，系统默认的python环境永远是3.7版本。但是当你激活python3.5的虚拟环境的时候，此时系统默认的python环境就是python3.5版本。  
为了印证猜想，就在系统变量中将python3.5的虚拟环境变量声明到python3.7的前面，将其覆盖。  
如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70]  
此时系统默认python环境为3.5  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 1]  
此时再通过pycharm运行pyspark的时候，就通过了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 2]

# 总结： #

如果你是第一次装anaconda，也许不会碰到这样的问题，如果你装的anaconda是python3.6的版本也许也不会碰到这样的问题，但是如果你和我一样很不幸，装的是python3.7版本的anaconda，并且不想动之前的环境，创建了一个虚拟环境来玩，那么“恭喜你”，大概率会碰到这样的问题。  
不过，不用头疼，解决问题的方法很多，就算不用这种方法，你还可以曲线救国，比如重装python低版本的anaconda等等。  
不过还是得吐槽下，这个问题真恶心，哈哈。

[https_blog.csdn.net_w417950004_article_details_77203501]: https://blog.csdn.net/w417950004/article/details/77203501
[https_www.cnblogs.com_hello-yz_p_9306099.html]: https://www.cnblogs.com/hello-yz/p/9306099.html
[https_blog.csdn.net_u010916338_article_details_106108266]: https://blog.csdn.net/u010916338/article/details/106108266
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70]: /images/20230208/4ab81c2d74cf41058515a6f0f627fcf8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 1]: /images/20230208/d6ead8cf8ec542fdb605b9f05618d539.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2NjMzNDA1_size_16_color_FFFFFF_t_70 2]: /images/20230208/0f302fc12e8c423ea6ace6ed226bbd2d.png