13.4、Flink Table API & SQL - Hive 之在scala shell中使用Hive连接器

我会带着你远行 2024-04-17 06:06 29阅读 0赞

Flink Scala Shell是尝试Flink的一种方便快捷的方法。您也可以在scala shell中使用hive，而不是在pom文件中指定hive依赖项，而是打包您的程序并通过flink run命令提交它。为了在scala shell中使用hive连接器，您需要将以下hive连接器依赖项放在flink dist的lib文件夹下。

*  flink-connector-hive\_\{scala\_version\}-\{flink.version\}.jar
 *  flink-hadoop-compatibility\_\{scala\_version\}-\{flink.version\}.jar
 *  flink-shaded-hadoop-2-uber-\{hadoop.version\}-\{flink-shaded.version\}.jar
 *  hive-exec-2.x.jar (for Hive 1.x, you need to copy hive-exec-1.x.jar, hive-metastore-1.x.jar, libfb303-0.9.2.jar and libthrift-0.9.2.jar)

版本信息详见：[Flink Table API & SQL - Hive之hive概览][Flink Table API _ SQL - Hive_hive]

Flink 与 Scala 的交互方式详见：[Flink部署和操作 之 Scala解释器][Flink_ _ Scala]

然后你可以在scala shell中使用hive连接器，如下所示：

Scala-Flink> import org.apache.flink.table.catalog.hive.HiveCatalog
    Scala-Flink> val hiveCatalog = new HiveCatalog("hive", "default", "<Replace it with HIVE_CONF_DIR>", "2.3.4");
    Scala-Flink> btenv.registerCatalog("hive", hiveCatalog)
    Scala-Flink> btenv.useCatalog("hive")
    Scala-Flink> btenv.listTables
    Scala-Flink> btenv.sqlQuery("<sql query>").toDataSet[Row].print()

[Flink Table API _ SQL - Hive_hive]: https://blog.csdn.net/zpf_940810653842/article/details/100065614
[Flink_ _ Scala]: https://blog.csdn.net/zpf_940810653842/article/details/100076005

发表评论取消回复

表情：

评论列表（有 0 条评论，29人围观）

还没有评论，来说两句吧...

相关阅读

相关 5.5、Flink Table API & SQL - 连接外部系统之 Kafka Connector（Kafka连接器）

Kafka连接器允许从Apache Kafka主题读写内容。它可以定义为： **JAVA / SCALA** .connect( new Ka...

朴灿烈づ我的快乐病毒、/ 2024年04月17日 06:28/ 0 赞/ 31 阅读

相关 13.4、Flink Table API & SQL - Hive 之在scala shell中使用Hive连接器

link Scala Shell是尝试Flink的一种方便快捷的方法。您也可以在scala shell中使用hive，而不是在pom文件中指定hive依赖项，而是打包您的...

我会带着你远行/ 2024年04月17日 06:06/ 0 赞/ 30 阅读

相关 13.3、Flink Table API & SQL - Hive 之 Hive函数

用户自定义函数用户可以在Flink中使用他们现有的Hive用户定义函数。支持的UDF函数包括以下： * UDF * GenericUDF * Ge...

我就是我/ 2024年04月17日 06:06/ 0 赞/ 28 阅读

相关 13.2、Flink Table API & SQL - Hive 之读写Hive表

用HiveCatalog和Flink到Hive的连接器，Flink可以读写Hive数据，作为Hive批处理引擎的替代。一定要按照说明在应用程序中包含正确的依赖项（见[Fl...

川长思鸟来/ 2024年04月17日 06:01/ 0 赞/ 29 阅读

相关 13.1、Flink Table API & SQL - Hive之hive概览

pache Hive已经成为数据仓库生态系统的焦点。它不仅是一个用于大数据分析和ETL的SQL引擎，也是一个数据管理平台，在这里数据被发现、定义和发展。 Flink提供...

痛定思痛。/ 2024年04月17日 06:00/ 0 赞/ 35 阅读

相关 Flink连接kerberos认证的hive 并使用table API

有个问题flink的kerveros通过配置设置。但是HiveCatalog还需要再次使用UserGroupInformation再次认证。直接上代码： imp

蔚落/ 2024年03月23日 19:23/ 0 赞/ 44 阅读

相关 Flink之Table API与SQL（二）

目录（1）创建表的两种方式（2）DataStream、DataSet与Table的转换（2.1）通过 DataSet

Dear 丶/ 2022年11月16日 13:41/ 0 赞/ 133 阅读

相关 Spark SQL Hive Tables

Spark SQL also supports reading and writing data stored in [Apache Hive][]. However, sin

蔚落/ 2022年06月13日 05:25/ 0 赞/ 165 阅读

相关 Flink Table API 和 SQL之概述

Flink针对标准的流处理和批处理提供了两种相关的API，Table API和sql。TableAPI允许用户以一种很直观的方式进行select 、filter和join操作。

矫情吗；*/ 2022年04月14日 02:50/ 0 赞/ 184 阅读

相关【Flink】Table API和SQL API

Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系

妖狐艹你老母/ 2022年02月01日 05:07/ 0 赞/ 181 阅读