运行python版本的Spark程序

青旅半醒 2022-07-29 08:46 208阅读 0赞

# 两种方法： #

1.  使用 spark-submit 解释执行python脚本
2.  使用 python 解释执行python脚本

## 1. 使用Spark-submit解释执行python脚本 ##

python脚本中需要在开头导入spark相关模块，调用时使用spark-submit提交，示例代码如下：

===========================================================

"""odflow.py"""
    from pyspark import SparkContext
    
    fileDir = "/TripChain3_Demo.txt"
    # sc = SparkContext("local", "ODFlow")
    sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")
    lines = sc.textFile(fileDir)
    
    # python不能直接写多行的lambda表达式，所以要封装在函数中
    def toKV(line):
        arr = line.split(",")
        t = arr[5].split(" ")[1].split(":")
        return (t[0]+t[1]+","+arr[11]+","+arr[18],1)
    
    r1 = lines.map( lambda line : toKV(line) ).reduceByKey(lambda a,b: a+b)
    # 排序并且存入一个（repartition）文件中
    r1.sortByKey(False).saveAsTextFile("/pythontest/output")

===========================================================

发布命令为：

spark-submit \
      --master spark://ITS-Hadoop10:7077 \
      odflow.py

## 2. 使用 python 解释执行python脚本 ##

直接用python执行会出现错误:

ImportError: No module named pyspark
    ImportError: No module named py4j.java_gateway

缺少pyspark和py4j这两个模块，这两个包在Spark的安装目录里，需要在环境变量里定义PYTHONPATH，编辑~/.bashrc或者/etc/profile文件均可

vi ~/.bashrc # 或者 sudo vi /etc/profile
    # 添加下面这一行
    export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
    # 使其生效
    source ~/.bashrc # 或者 sudo source /etc/profile

然后关闭终端，重新打开，用python执行即可

python odflow.py

发表评论取消回复

表情：

评论列表（有 0 条评论，208人围观）

还没有评论，来说两句吧...

相关阅读

相关使用Spark Shell开发运行Spark程序

使用Spark Shell开发运行Spark程序 Spark Shell是一种学习API的简单途径，也是分析数据集交互的有力工具。虽然本章还没涉及Spark的具体技

﹏ヽ暗。殇╰゛Y/ 2024年02月19日 15:48/ 0 赞/ 64 阅读

相关 python程序运行原理

编译性语言源码--》编译--》链接--》可执行文件拿着这个可执行文件到任意平台去执行，运行时不用再编译一次编译，到处运行解释性语言

冷不防/ 2022年12月30日 12:56/ 0 赞/ 245 阅读

相关运行python版本的Spark程序

两种方法： 1. 使用 spark-submit 解释执行python脚本 2. 使用 python 解释执行python脚本 1. 使用Spark-submit

青旅半醒/ 2022年07月29日 08:46/ 0 赞/ 209 阅读

相关 Spark的运行模式

Spark的运行模式 Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可

╰+哭是因爲堅強的太久メ/ 2022年06月01日 12:39/ 0 赞/ 217 阅读

相关运行python程序

一、交互模式下编写python代码 1、windows中在dos中输入python(命令提示符)，或者在win+r中输入python（假设是安装好环境的）。

曾经终败给现在/ 2022年05月23日 03:53/ 0 赞/ 258 阅读

相关 Spark程序运行架构

![70][] 1.Driver Application : Spark运行程序。 2.Cluster Manager：集群管理器。 3.Worker：工作节点。 4.

落日映苍穹つ/ 2022年05月20日 00:44/ 0 赞/ 267 阅读

相关 spark1.6学习（二）——独立的python程序运行pyspark

本篇文章主要介绍如何使用独立的python程序运行pyspark。一般，我们在测试的时候可以使用pyspark进行简单的交互，但是在线上具体使用的程序，我们需要使用一个完整

柔情只为你懂/ 2022年04月13日 06:49/ 0 赞/ 371 阅读

相关 c#运行python程序

c\运行python程序更多文章欢迎访问个人博客 [www.herobin.top][] 最近做实验室的水体项目，需要在c\中运行python程序。开始百度到可以

ゞ浴缸里的玫瑰/ 2022年03月20日 21:00/ 0 赞/ 343 阅读

相关 Windows下IDEA运行scala版本的spark程序（踩坑总结）

首先，说一下，一般spark程序肯定都是打包然后放到Linux服务器去运行的，但是我们为什么还需要在Windows下运行spark程序。当然有它的道理：因为我们很多人都是

╰半橙微兮°/ 2021年12月24日 07:37/ 0 赞/ 617 阅读

相关 luigi框架--关于python运行spark程序

首先，目标是写个python脚本，跑spark程序来统计hdfs中的一些数据。参考了别人的代码，故用了luigi框架。至于luigi的原理底层的一些东西Google就好。

Myth丶恋晨/ 2021年12月23日 12:15/ 0 赞/ 282 阅读