py4j.protocol.Py4JJavaError: An error...(pyspark aws s3读取数据配置)

我就是我 2022-04-05 14:42 1418阅读 0赞

### bug提示 ###

py4j.protocol.Py4JJavaError: An error occurred while calling o29.csv.

java.lang.IllegalAccessError: tried to access method org.apache.hadoop.metrics2.lib.MutableCounterLong

### 问题原因 ###

pyspark安装配置好读取s3服务器内容时候各种bug。试了网上的方法，最后总结一下，还是环境变量加载的hadoop-aws和aws-java-sdk，版本不匹配。经过多重测试，暂时发现有这两个包的版本可用：  
hadoop-aws:2.7.3  
aws-java-sdk:1.7.4

### 演示程序 ###

这里只能通过s3a协议连接，该程序可连接国内和国外s3。  
id和key需要更换

import pyspark
    import os
    
    os.environ['PYSPARK_SUBMIT_ARGS'] = "--packages=org.apache.hadoop:hadoop-aws:2.7.3," \
                                        "com.amazonaws:aws-java-sdk:1.7.4 " \
                                        "pyspark-shell"
    access_id = 'your_access_id'
    access_key = 'your_access_key'
    
    spark = pyspark.sql.SparkSession.builder.master('local').appName("hxy_test_script").getOrCreate()
    sc = spark.sparkContext
    hadoop_conf = sc._jsc.hadoopConfiguration()
    
    hadoop_conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
    hadoop_conf.set("fs.s3a.access.key", access_id)
    hadoop_conf.set("fs.s3a.secret.key", access_key)
    hadoop_conf.set("fs.s3a.endpoint", "s3.cn-north-1.amazonaws.com.cn")
    
    sql = pyspark.SQLContext(sc)
    path_list = ['s3a://bucket/DATA/00.csv']
    df = sql.read.csv(path_list, header=True)
    print(df.count())
    print(df.show())

发表评论取消回复

表情：

评论列表（有 0 条评论，1418人围观）

还没有评论，来说两句吧...

相关阅读

相关 SpringBoot整合AWS S3

SpringBoot整合AWS S3 -------------------- 文章目录 SpringBoot整合AWS S3 前言一、AWS

￡神魔★判官ぃ/ 2024年03月26日 10:28/ 0 赞/ 100 阅读

相关 Java实现AWS S3 V4 Authorization自定义验证

前言最近在开发文件存储服务，需要符合s3的协议标准，可以直接接入aws-sdk，本文针对sdk发出请求的鉴权信息进行重新组合再签名验证有效性，sdk版本如下

曾经终败给现在/ 2024年03月16日 19:56/ 0 赞/ 68 阅读

相关 PySpark的运行出错：Py4JJavaError【python为3.9==＞pyspark版本为3.0】

详细错误信息： Py4JJavaError Traceback (most recent call last)

待我称王封你为后i/ 2023年09月28日 18:16/ 0 赞/ 16 阅读

相关 S4 HANA BP配置

文章目录一、BP概述 1.1 业务伙伴（Business Partner） 1.2 业务伙伴角色或BP角色二、BP配置

本是古典何须时尚/ 2023年03月13日 12:17/ 0 赞/ 44 阅读

相关成功解决raise Py4JError py4j.protocol.Py4JError: py4j.protocol.Py4JError: Could not find py4j jar at

成功解决raise Py4JError("Could not find py4j jar at \{0\}".format(jarpath)) py4j.protocol.

我会带着你远行/ 2022年11月20日 12:59/ 0 赞/ 386 阅读

相关 AWS CLI使用s3

aws CLI是什么东西，暂且先不去了解，目前的需求是s3. 我在Jenkins上创建一个bucket，然后申请access\_key，然后就可以使用s3来存储数据了。也就是

红太狼/ 2022年07月16日 07:39/ 0 赞/ 202 阅读

相关 AWS S3 学习小结

1.首先，这个是AWS的开发资源使用文档：[AWS开发文档][AWS]，[AWS官网 - S3教程][AWS_ - S3] 2.我们可以通过AWS Cli和Java Api来

小鱼儿/ 2022年04月25日 03:06/ 0 赞/ 507 阅读

相关 py4j.protocol.Py4JJavaError: An error...(pyspark aws s3读取数据配置)

bug提示 py4j.protocol.Py4JJavaError: An error occurred while calling o29.csv. java.lan

我就是我/ 2022年04月05日 14:42/ 0 赞/ 1419 阅读

相关 AWS s3 V4签名算法

原创，转载请注明：http://www.jianshu.com/p/a6a02309190f 一、开篇说明：以下思考方向，是以Android端为出发点（IOS同理）

秒速五厘米/ 2022年03月25日 04:42/ 0 赞/ 458 阅读

相关 4.1.3 读取注解信息

java.lang.reflect 包主要包含一些实现反射功能的工具类，另外也提供了对读取运行时注解的支持。java.lang.reflect 包下的 AnnotatedE

清疚/ 2021年10月14日 06:16/ 0 赞/ 202 阅读