PySpark的存储不同格式文件

ゝ一世哀愁。 2023-09-28 18:43 9阅读 0赞

PySpark的存储不同格式文件，如：存储为csv格式、json格式、parquet格式、compression格式、table

from **future** import print\_function, division  
from pyspark import SparkConf, SparkContext  
from pyspark.sql import SparkSession

### 启动 Spark （如果你已经启动就不需要） ###

spark = SparkSession.builder.master(“local\[2\]”).appName(“test”).enableHiveSupport().getOrCreate()  
sc = spark.sparkContext

### 存储为csv格式 ###

df\_csv = spark.read.csv(“…/data/ratings.csv”, header=True)  
df\_csv.show()  
df\_csv.write.csv(‘…/output/rating.csv’, header = True, mode = ‘error’) \#保存数据

### 将文档保存在一个文件夹中 ###

!ls -lh …/output/rating.csv \#根据数量保存多个文件  
!head …/output/rating.csv/part-00001-aece805c-20a7-4225-b152-40316bc8fc5e-c000.csv  
df\_csv.coalesce(1).write.csv(‘…/output/rating2.csv’, header = True)  
!ls -lh …/output/rating.csv

### 存储为json格式 ###

df\_csv.write.json(‘…/output/rating.json’,mode = ‘overwrite’)  
!ls -lh …/output/rating.json \#根据数量保存多个文件  
\#\#注意：其中json的内存要比csv大（存储空间）

### 存储为parquet格式 ###

df\_csv.write.parquet(‘…/output/rating.parquet’,mode = ‘overwrite’)  
!ls -lh …/output/rating.parquet \#根据数量保存多个文件

### 存储为compression格式—压缩 ###

df\_csv.write.csv(‘…/output/rating\_gzip.csv’, header = True, compression = ‘gzip’)  
!ls -lh …/output/rating\_gzip.csv \#根据数量保存多个文件

### 存储为table ###

spark.sql(‘show tables’).show()  
df\_csv.write.saveAsTable(‘rating\_csv’)  
spark.sql(“select \* from ratings\_csv”).show()

--------------------

参考资料：  
[PySpark的存储不同格式文件][PySpark]  
[将PySpark数据帧保存到parquet文件会引发Py4JJavaE][PySpark_parquet_Py4JJavaE]

[PySpark]: https://blog.csdn.net/zhonglongshen/article/details/88849788
[PySpark_parquet_Py4JJavaE]: https://www.cnpython.com/qa/428598