SparkSQL 控制文件输出的大小

系统管理员 2023-07-20 10:48 26阅读 0赞

package cn.ac.iie.log
    
    import org.apache.spark.sql.{ SaveMode, SparkSession}
    
    /** * 使用Spark完成我们的数据清洗操作 */
    object SparkStatCleanJob { 
    
      def main(args: Array[String]): Unit = { 
        val spark = SparkSession.builder().appName("SparkStatCleanJob").master("local[2]").getOrCreate()
        val acessRDD = spark.sparkContext.textFile("file:///E:/test/output/part-00000")
        // acessRDD.take(10).foreach(println)
        // RDD => DF
        val accessDF = spark.createDataFrame(acessRDD.map(x => AccessConvertUtil.parseLog(x)), AccessConvertUtil.struct)
        // accessDF.printSchema()
        // accessDF.show(false)
        accessDF.coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("day").save("file:///E:/test/clean")
        spark.stop()
      }
    
    }

有时我们要将DataFrame保存到文件系统中，并且按照`day`字段进行partitionBy，往往使用`accessDF.write.format("parquet").mode(SaveMode.Overwrite).partitionBy("day").save("file:///E:/test/clean")`这种方式，  
这句话：将DataFrame数据以`parquet`文件格式写入`file:///E:/test/clean`文件系统中，并且按照`day`进行partition，同时如果文件夹存在则进行覆盖。  
但是有时候，输出的结果中`day`文件夹下的小文件太多了，非常影响性能。因此使用`coalesce(1)`来将小文件文件输出到一个文件中。之前在一个`day`下会有多个文件，使用`accessDF.coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("day").save("file:///E:/test/clean")`方式之后，一个`day`下就仅有一个文件了。

发表评论取消回复

表情：

评论列表（有 0 条评论，26人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL (一) --------- SparkSQL 概述

目录一、SparkSQL 是什么 ? 二、Hive and SparkSQL 三、SparkSQL 特点四、DataFrame 是什么?

た入场券/ 2024年04月07日 12:11/ 0 赞/ 130 阅读

相关 web 服务中上传文件大小控制

参考文章：[https://rensanning.iteye.com/blog/2388353][https_rensanning.iteye.com_blog_2388353

谁借莪１个温暖的怀抱￠/ 2023年08月17日 16:12/ 0 赞/ 120 阅读

相关 SparkSQL 控制文件输出的大小

package cn.ac.iie.log import org.apache.spark.sql.{ SaveMode, SparkSession}

系统管理员/ 2023年07月20日 10:48/ 0 赞/ 27 阅读

相关 SparkSQL保存DataFrame为CSV文件

ReadShipMMSITwo package com.xtd.file import java.io.{ BufferedWriter, File

女爷i/ 2023年02月11日 10:25/ 0 赞/ 61 阅读

相关 php统计文件大小，以GB、MB、KB、B输出

学习了fread读取命令，用到了filesize函数，知道这个函数定大有用到的时候，遂用之编写统计文件大小函数使用filesize（）函数命令实现文件大小的统计，要求：1

谁践踏了优雅/ 2022年09月26日 15:00/ 0 赞/ 138 阅读

相关 logback的日志控制输出

在程序开发过程中日志是少不了的信息，它可以帮助我们排查问题，这是我们需要日志的最大好处，在不同阶段日志都有它自己的不同作用，在开发阶段可以帮助我们调试程序；在测试以及

àì夳堔傛蜴生んèń/ 2022年08月20日 04:17/ 0 赞/ 297 阅读

相关【Latex】表格大小控制

Latex设置表格字体大小 \\begin\{table\}\[h\] \\small %此处写字体大小控制命令 \\begin\{tabular\} \\end\{t

「爱情、让人受尽委屈。」/ 2022年07月15日 10:15/ 0 赞/ 310 阅读

相关常用的输出格式控制

几种常用的格式控制输出 include<iostream> using namespace std; int main(){

骑猪看日落/ 2022年06月08日 13:43/ 0 赞/ 247 阅读

相关键盘录入文件并输出大小

package com.n1; import java.io.File; import java.util.Scanner;

╰+哭是因爲堅強的太久メ/ 2021年12月22日 16:13/ 0 赞/ 256 阅读

相关 Linux环境下怎么控制日志文件的大小

最近在开发过程中碰到一个问题，当我们在Linux环境下直接使用命令nohup Java -jar xxxxxx.jar & 来运行jar 包的时候，默认生成的log文件只会

Bertha 。/ 2021年09月25日 14:20/ 0 赞/ 803 阅读