【大数据入门核心技术-Iceberg】（七）Iceberg与Flink整合

快来打我* 2024-02-21 10:06 36阅读 0赞

## 一、下载部署 ##

wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/iceberg-flink-runtime-1.16/1.1.0/iceberg-flink-runtime-1.16-1.1.0.jar

cp iceberg-flink-runtime-1.16-1.1.0.jar /data/bigdata/flink-1.13.2/lib/

## 二、启动sql-client ##

1）修改flink-conf.yaml配置  
vim $FLINK\_HOME/conf/flink-conf.yaml

classloader.check-leaked-classloader: false  
taskmanager.numberOfTaskSlots: 4

state.backend: rocksdb  
execution.checkpointing.interval: 30000  
state.checkpoints.dir: hdfs://hadoop101:9000/ckps  
state.backend.incremental: true

2）cluster模式  
（1）修改workers  
vim $FLINK\_HOME/conf/workers  
\#表示：会在本地启动3个TaskManager的 local集群  
hadoop101  
hadoop102  
hadoop103

（2）启动Flink  
$FLINK\_HOME/bin/start-cluster.sh  
查看webui：http://hadoop101:8081

![51a21cc7104e40d19267229a736694cf.png][]

（3）启动Flink的sql-client  
$FLINK\_HOME/bin/sql-client.sh embedded

![4ec8b6fbcb894232bd5226f1337e6c49.png][]

[51a21cc7104e40d19267229a736694cf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/a37fc03a25ca4dbbadeef7620e10a9ea.png
[4ec8b6fbcb894232bd5226f1337e6c49.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/a02e14b5c6014f5c8db4cdb8655eb37b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，36人围观）

还没有评论，来说两句吧...

相关阅读

相关 flink-iceberg

一：打开flink界面 bin/sql-client.sh embedded 二：数据湖 1. 建立链接数据源工具建立iceberg\_catal

红太狼/ 2024年04月07日 10:32/ 0 赞/ 71 阅读

相关【大数据入门核心技术-Iceberg】（二）Iceberg与Hive集成

一、环境准备 Hive与Iceberg的版本对应关系如下 <table style="width:417.95pt;"> <tbody> <tr> <

╰+哭是因爲堅強的太久メ/ 2024年02月23日 07:29/ 0 赞/ 41 阅读

相关【大数据入门核心技术-Iceberg】（九）Iceberg与与 Flink DataStream 集成

一、准备工作 1、pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http

落日映苍穹つ/ 2024年02月21日 10:13/ 0 赞/ 19 阅读

相关【大数据入门核心技术-Iceberg】（八）Iceberg与Flink基本Shell操作

一、创建和使用 Catalog 1、Hive Catalog 1）上传hive connector到flink的lib中 wget https://rep

Bertha 。/ 2024年02月21日 10:07/ 0 赞/ 9 阅读

相关【大数据入门核心技术-Iceberg】（七）Iceberg与Flink整合

一、下载部署 wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/ice

快来打我*/ 2024年02月21日 10:06/ 0 赞/ 36 阅读

相关【大数据入门核心技术-Iceberg】（三）Iceberg与Hive基本Shell操作

一、创建表 1）创建外部表 CREATE TABLE iceberg_create1 (i int) STORED BY 'org.apache.ice

灰太狼/ 2024年02月21日 07:39/ 0 赞/ 61 阅读

相关【大数据入门核心技术-Iceberg】（二）Iceberg与Hive整合

一、下载和配置 Iceberg与Hive 2和Hive 3.1.2/3的集成，支持以下特性：创建表删除表读取表插入表（INSERT in

电玩女神/ 2024年02月21日 07:36/ 0 赞/ 57 阅读

相关【大数据入门核心技术-Iceberg】（一）Iceberg介绍

一、Iceberg简介 1.1、概述为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化

心已赠人/ 2024年02月21日 07:31/ 0 赞/ 46 阅读

相关【大数据入门核心技术-Iceberg】（五）Iceberg与Spark基本Shell操作

一、SQL操作 1、创建表 use hadoop_prod; create database default; use default;

客官°小女子只卖身不卖艺/ 2024年02月21日 04:23/ 0 赞/ 22 阅读

相关【大数据入门核心技术-Iceberg】（四）Iceberg与Spark整合

一、下载部署 wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/ice

末蓝、/ 2024年02月21日 04:20/ 0 赞/ 11 阅读