大数据Kudu(十):Flink操作Kudu

向右看齐 2024-03-30 11:02 197阅读 0赞

c1485ef122894d83af9c54c79af0e3f1.jpeg

文章目录

Flink操作Kudu


Flink主要应用场景是流式数据处理上,有些公司针对流式数据使用Flink实时分析后将结果存入Kudu,例如快手公司。这里将实时计算的结果存入Kudu需要自定义Flink Kudu Sink。

场景:Flink实时读取Socket数据,将结果存入Kudu表t_flink_result,为了方便操作不再创建Kudu外表,这里在Impala中创建Kudu内表t_flink_result:

  1. create table t_flink_result
  2. (
  3. id int,
  4. name string,
  5. age int,
  6. primary key (id)
  7. )
  8. partition by hash partitions 3
  9. stored as kudu
  10. tblproperties(
  11. 'kudu.master_address' = 'cm1:7150,cm2:7150'
  12. )

在Maven中导入以下Flink 包

发表评论

表情:
评论列表 (有 0 条评论,197人围观)

还没有评论,来说两句吧...

相关阅读

    相关 kudu

    kudu kudu:面向结构化数据的开源的table存储引擎,支持低延迟的随机存取以及高效的分析处理 Kudu管理的是类似关系型数据库的结构化的表,表结构由类Sql的S