spark sql 读取 parquet 文件

逃离我推掉我的手 2022-12-19 06:12 296阅读 0赞

SQL

你可以使用spark-sql -S启动 sql的 spark。

  1. CREATE TEMPORARY VIEW parquetTable
  2. USING org.apache.spark.sql.parquet
  3. OPTIONS (
  4.   path "/user/data/dt=2020-09-09/"
  5. )

这行代码会从上述文件夹读取parquet文件，读取后的table就叫parquetTable

可以使用：

  1. desc parquetTable;
  2. select * from parquetTable limit 10;

scala

  1. val users = spark.read.parquet("path")

发表评论

表情：
评论列表 （有 0 条评论，296人围观）

还没有评论，来说两句吧...

相关阅读