Ubuntu下安装pyspark

待我称王封你为后i 2022-06-02 07:43 661阅读 0赞

### Ubuntu下安装pyspark ###

*  安装环境  
    
    
     *  Python2.7
     *  Ubuntu14.04
     *  Java6+
 *  步骤一：下载spark  
    下载地址：[spark官网][spark] ，我选择的是spark-2.2.1-bin-hadoop2.7.tgz
 *  步骤二：解压压缩包

tar -xzf spark-2.2.1-bin-hadoop2.7.tgz

*  步骤三：移动spark位置（可略）

mv spark-2.2.1-bin-hadoop2.7 /usr/spark-2.2.1

*  步骤四：修改配置文件
    
     *  编辑~/.profile文件,

sudo vi ~/.profile

#将以下代码添加到文件中
    export SPARK_HOME=/usr/spark #设置SPARK_HOME环境变量
    export PATH=$SPARK_HOME/bin:$PATH # 将Spark添加到PATH中
    export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH #添加到Python路径

![图1][1]  
\- 步骤五：安装py4j

sudo pip install py4j

*  安装完成，重启终端，测试pyspark  
    ![安装成功][SouthEast]  
    也可在.py脚本里进行测试是否安装成功

#test.py
    #encoding:utf-8
    import pyspark
    from pyspark import SparkContext 
    from pyspark import SparkConf
    conf=SparkConf().setAppName("miniProject").setMaster("local[*]")
    sc=SparkContext.getOrCreate(conf)
    
    #flatMap() 对RDD中的item执行同一个操作以后得到一个list，然后以平铺的方式把这些list里所有的结果组成新的list
    sentencesRDD=sc.parallelize(['Hello world','My name is Patrick'])
    wordsRDD=sentencesRDD.flatMap(lambda sentence: sentence.split(" "))
    print wordsRDD.collect()
    print wordsRDD.count()

![测试结果][SouthEast 1]

[spark]: http://spark.apache.org/downloads.html
[1]: /images/20220602/3fe20ae4db434508bca6c782b56ace31.png
[SouthEast]: /images/20220602/2d0aa46d03724e6badac2def75eaa9a2.png
[SouthEast 1]: /images/20220602/6cafe2d6b3d04721b9e5da3ca94d5061.png