pySpark 读取csv文件

偏执的太偏执、 2022-11-28 00:21 152阅读 0赞

这个读取蛮水的。but从官网来的。

from pyspark.sql import SparkSession
    spark = SparkSession.builder \
        .enableHiveSupport().getOrCreate()
    df = spark.read.csv("/tmp/resources/zipcodes.csv")
    df.printSchema()
    ##可以得到
    root
     |-- _c0: string (nullable = true)
     |-- _c1: string (nullable = true)
     |-- _c2: string (nullable = true)

是的，读取就一句话：spark.read.csv("/tmp/resources/zipcodes.csv")，但是读取出来的效果你可能不太满意，因为没有数据的名字c0,c1,c2是个什么鬼，**所以可以加上一些条件的来读取**：

df3 = spark.read.options(header='True', inferSchema='True', delimiter=',') \
      .csv("/tmp/resources/zipcodes.csv")
    ##可以得到，比如说：
    |-"学生姓名" String
    |-"学生成绩" Int

解释一下，header=true才会读取你的表头，也就是“”学生姓名“**，这个最常用**

delimiter是指你的csv文件使用的什么间隔符，如果这个你看不懂，说明你用的是默认的，那可以使用delimiter=','，或者完全不提delimiter。如果你封装csv的时候就设定了你的分隔符，这里改成你的。

inferSchema 根据你的数据预测你的数据类型，加了的话读取的次数是2次。**这么说吧，比如学生的成绩，你不加的话，读出来的类型是string，加了就是int。**

**ref：**[https://sparkbyexamples.com/pyspark/pyspark-read-csv-file-into-dataframe/\#read-csv-dataframe][https_sparkbyexamples.com_pyspark_pyspark-read-csv-file-into-dataframe_read-csv-dataframe]

[https_sparkbyexamples.com_pyspark_pyspark-read-csv-file-into-dataframe_read-csv-dataframe]: https://sparkbyexamples.com/pyspark/pyspark-read-csv-file-into-dataframe/#read-csv-dataframe

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关 java读取csv文件(java读取csv文件)

java读取csv写入数据库使用opencsv读到、、、、、使用jdbc存储数据库 ~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~

拼搏现实的明天。/ 2023年09月26日 15:14/ 0 赞/ 71 阅读

相关 python读取CSV文件，csv.reader()

csv.reader()返回一个reader对象，利用该对象遍历csv文件中的行。从csv文件中读取的每一行都作为字符串列表返回。示例：读取文件，计算平均身高。

傷城~/ 2023年06月02日 07:47/ 0 赞/ 23 阅读

相关 pySpark 读取csv文件

这个读取蛮水的。but从官网来的。 from pyspark.sql import SparkSession spark = SparkSession.

偏执的太偏执、/ 2022年11月28日 00:21/ 0 赞/ 153 阅读

相关 python读取csv文件

写入csv文件 import csv content = [['No.', 'Name','Age','Score'], ['1

傷城~/ 2022年10月05日 01:58/ 0 赞/ 247 阅读

相关【python中级】 csv读取csv文件

【python中级】 csv读取csv文件背景代码运行背景 csv文件是文本文件，可以通过记事本等文本编辑器打开；当使用WPS打开

- 日理万妓/ 2022年09月04日 09:49/ 0 赞/ 264 阅读

相关读取csv文件内容

原文：[http://www.codeproject.com/Tips/806934/How-to-Return-the-Contents-of-a-CSV-file-as-a

小灰灰/ 2022年08月11日 00:48/ 0 赞/ 267 阅读

相关 Java 读取csv文件

public static void read(String path) { File file = new File(path);

本是古典何须时尚/ 2022年07月11日 08:12/ 0 赞/ 259 阅读

相关 Java读取csv文件

简介：总结用java通过读取csv文件方法，为用csv文件来做数据驱动测试提供解决方案创建csv文件用WPS表格或excel创建文件，填写数据，另存为选择CSV格式

喜欢ヅ旅行/ 2022年06月08日 14:20/ 0 赞/ 295 阅读

相关 Java 读取CSV文件

Java读取CSV文件，使用readLine()按行读取注意：需要解决字符编码问题代码如下： public class ReadCSV {

àì夳堔傛蜴生んèń/ 2022年06月03日 10:39/ 0 赞/ 374 阅读

相关 python读取csv文件

python官网的介绍： https://docs.python.org/zh-cn/3/library/csv.html 转载于:https://www.cnblogs.

ゞ浴缸里的玫瑰/ 2021年11月01日 11:42/ 0 赞/ 523 阅读