Spark -9：Spark SQL, DataFrames and Datasets 编程指南

淡淡的烟草味﹌ 2022-07-11 07:41 216阅读 0赞

翻译：http://spark.apache.org/docs/latest/sql-programming-guide.html

**概述**

Spark SQL是用于结构化数据处理的Spark模块。与基本Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。有几种方法与Spark SQL（包括SQL和Dataset API）进行交互。当计算结果时，使用相同的执行引擎，独立于您用来表达计算的API /语言。这种统一意味着开发人员可以容易地在不同的API之间来回切换，基于这些API提供了表达给定变换的最自然的方式。

此页面上的所有示例都使用Spark发行版中包含的示例数据，并且可以在spark-shell，pyspark shell或sparkR shell中运行。

## SQL ##

Spark SQL的一个用途是执行SQL查询。 Spark SQL还可以用于从现有Hive安装中读取数据。有关如何配置此功能的更多信息，请参阅Hive表部分。当在另一种编程语言中运行SQL时，结果将作为Dataset / DataFrame返回。您还可以使用命令行或通过JDBC / ODBC与SQL界面交互。

## Datasets and DataFrames ##

## Datasets是数据的分布式集合。数据集是在Spark 1.6中添加的一个新接口，它提供了RDD的优点（强类型化，使用强大的lambda函数的能力）以及Spark SQL优化的执行引擎的优点。数据集可以从JVM对象构建，然后使用函数转换（map，flatMap，filter等）操作。Scala和Java中提供了Dataset API。Python没有对Dataset API的支持。但是由于Python的动态特性，Dataset API的许多优点已经可用（即，您可以通过名称自然地访问行的字段row.columnName）。R的情况是类似的。 ##

DataFrame是组织成命名列的数据集。它在概念上等同于关系数据库中的表或R / Python中的数据框架，但具有更丰富的优化。DataFrames可以从各种来源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。DataFrame API可用于Scala，Java，Python和R中。在Scala和Java中，DataFrame由Rows的Dataset表示。在Scala API中，DataFrame只是Dataset \[Row\]的类型别名。而在Java API中，用户需要使用Dataset <Row>来表示DataFrame。

## Starting Point: SparkSession ##

Spark中所有功能的入口点是SparkSession类。要创建基本的SparkSession，只需使用SparkSession.builder（）：

import org.apache.spark.sql.SparkSession;
    
    SparkSession spark = SparkSession
      .builder()
      .appName("Java Spark SQL basic example")
      .config("spark.some.config.option", "some-value")
      .getOrCreate();

在Spark “examples / src / main / java / org / apache / spark / examples / sql / JavaSparkSQLExample.java”中查找完整的示例代码。Spark 2.0中的SparkSession为Hive功能提供了内置支持，包括使用HiveQL编写查询，访问Hive UDF以及从Hive表中读取数据的能力。要使用这些功能，您不需要具有现有的Hive设置。

## Creating DataFrames ##

使用SparkSession，应用程序可以从现有RDD，Hive表或Spark数据源创建DataFrames。例如，以下内容根据JSON文件的内容创建DataFrame：

import org.apache.spark.sql.Dataset;
    import org.apache.spark.sql.Row;
    
    Dataset<Row> df = spark.read().json("examples/src/main/resources/people.json");
    
    // Displays the content of the DataFrame to stdout
    df.show();
    // +----+-------+
    // | age|   name|
    // +----+-------+
    // |null|Michael|
    // |  30|   Andy|
    // |  19| Justin|
    // +----+-------+

DataFrames为Scala，Java，Python和R中的结构化数据操作提供了特定领域的语言。如上所述，在Spark 2.0中，DataFrames只是Scala和Java API中的Rows数据集。这些操作也称为“非类型转换”，与带有强类型化Scala / Java数据集的“类型转换”相反。  
这里我们包括使用数据集的结构化数据处理的一些基本示例：

// col("...") is preferable to df.col("...")
    import static org.apache.spark.sql.functions.col;
    
    // Print the schema in a tree format
    df.printSchema();
    // root
    // |-- age: long (nullable = true)
    // |-- name: string (nullable = true)
    
    // Select only the "name" column
    df.select("name").show();
    // +-------+
    // |   name|
    // +-------+
    // |Michael|
    // |   Andy|
    // | Justin|
    // +-------+
    
    // Select everybody, but increment the age by 1
    df.select(col("name"), col("age").plus(1)).show();
    // +-------+---------+
    // |   name|(age + 1)|
    // +-------+---------+
    // |Michael|     null|
    // |   Andy|       31|
    // | Justin|       20|
    // +-------+---------+
    
    // Select people older than 21
    df.filter(col("age").gt(21)).show();
    // +---+----+
    // |age|name|
    // +---+----+
    // | 30|Andy|
    // +---+----+
    
    // Count people by age
    df.groupBy("age").count().show();
    // +----+-----+
    // | age|count|
    // +----+-----+
    // |  19|    1|
    // |null|    1|
    // |  30|    1|
    // +----+-----+

**以编程方式运行SQL查询**  
  
 SparkSession上的sql函数使应用程序以编程方式运行SQL查询，并以数据集<Row>返回结果。

port org.apache.spark.sql.Dataset;
    import org.apache.spark.sql.Row;
    
    // Register the DataFrame as a SQL temporary view
    df.createOrReplaceTempView("people");
    
    Dataset<Row> sqlDF = spark.sql("SELECT * FROM people");
    sqlDF.show();
    // +----+-------+
    // | age|   name|
    // +----+-------+
    // |null|Michael|
    // |  30|   Andy|
    // |  19| Justin|
    // +----+-------+