Linux平台pysprak默认使用IPython编辑器

ゝ一世哀愁。 2022-05-25 04:14 236阅读 0赞

### Linux平台pysprak默认使用IPython编辑器 ###

之前写过一篇[Spark在windows上默认使用IPython编辑器][Spark_windows_IPython]的文章。linux上通过pyspark使用ipython其实是一样改法的。

要想`pysaprk`默认使用`ipython`，我们需要先安装`ipython`。这里直接安装[ Anaconda][Anaconda]。

#### 1. Anaconda安装 ####

1.1 下载

进入下载页面，选择需要下载的安装包

![image][]

这里选择的是linux平台

> Anaconda3-5.1.0-Linux-x86\_64.sh

1.2 上传到linux机器

> scp Anaconda3-5.1.0-Linux-x86\_64.sh hadoop@server01:/anaconda

**1.3 安装anaconda**

1.3.1 执行`Anaconda3-5.1.0-Linux-x86_64.sh`脚本

> sh /anaconda/Anaconda3-5.1.0-Linux-x86\_64.sh

![image][image 1]

1.3.2 允许协议许可

直接按下Enter

![image][image 2]

1.3.3 指定安装路径

安装路径为`/anaconda`

![image][image 3]

**注意：如果出现下面信息，需要在1.3.1步骤上加上-u参数，重新安装**

ERROR: File or directory already exists: '/anaconda'
    If you want to update an existing installation, use the -u option.

在1.3.1步骤上加上-u参数，如下：

sh /anaconda/Anaconda3-5.1.0-Linux-x86_64.sh -u

![image][image 4]

1.3.4 是否添加到环境变量

选择`yes`

![image][image 5]

1.3.5 source环境变量

source /home/hadoop/.bashrc

1.3.6 测试ipython

在shell窗口执行ipython命令，如下图，表示安装成功

![image][image 6]

#### 2. 修改pyspark文件 ####

2.1 进入spark/bin目录，修改pyspark目录

在进行修改pyspark之前，先复制一份

cp pyspark pysaprk.bak

2.2 修改pyspark文件

...
    
    if [[ -z "$PYSPARK_DRIVER_PYTHON" ]]; then
      PYSPARK_DRIVER_PYTHON="${PYSPARK_PYTHON:-"ipython"}"  # 将 python 改为 ipython
    fi
    
    ...

如图：

![image][image 7]

2.3 执行pyspark测试ipython

![image][image 8]

这样就修改好了。

--------------------

补充：Anaconda卸载

1.  进入Anaconda安装目录，删除安装的文件目录，如：

rm -rf /anaconda

1.  删除`/home/hadoop/.bashrc`对应的配置

vim /home/hadoop/.bashrc
    
    删除对应信息

![image][image 9]

1.  如果需要再次安装anaconda，需要在执行1.3.1步骤时，加上-u参数。

[Spark_windows_IPython]: https://blog.csdn.net/qq_33689414/article/details/79738503
[Anaconda]: https://www.anaconda.com/
[image]: /images/20220525/cda2e5e997204fbfa3102d9bd87382a9.png
[image 1]: /images/20220525/04851075c4e9420eb4d30ae2dddb15da.png
[image 2]: /images/20220525/d3592ac5074b4d338037afb75061508a.png
[image 3]: /images/20220525/d3bc41680d0c4692833e7db964a944c2.png
[image 4]: /images/20220525/eb2c84e5829741e39638aeab4c3cd241.png
[image 5]: /images/20220525/7dd2d44eca7e442e993d91080258422f.png
[image 6]: /images/20220525/1b9bf6244280466d93e46fa1b4984ea6.png
[image 7]: /images/20220525/6aeee5716b0141aaaf2a64d35066be8b.png
[image 8]: /images/20220525/a24e4f212a7c42c5ab61e60caa11685b.png
[image 9]: /images/20220525/52099bfa12ae487b94959472565ed895.png