Kafka持久化至Hive，目前搜到大致有如下几种方案

╰半夏微凉° 2022-10-02 12:53 1阅读 0赞

1、HiveKa : Apache Hive's storage handler that adds support in Apache Hive to query data from Apache Kafka

https://github.com/HiveKa/HiveKa

**2、Confluent Platform - HDFS Connector**

http://kaimingwan.com/post/kafka/kafkachi-jiu-hua-shu-ju-dao-hdfsde-fang-fa  
http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html

**3、camus或gobblin**

http://www.aboutyun.com/thread-20701-1-1.html

**gobblin  时间节点2019年06月20日**

Gobblin supports Java 7 and up, but can only run on Hadoop 2.x

**4，Flume**

[https://blog.csdn.net/qq\_38690917/article/details/81430553][https_blog.csdn.net_qq_38690917_article_details_81430553]

Flume处理   Kafka  -> HDFS  ->  通过Hive外部表

[https://blog.csdn.net/Evankaka/article/details/55223894][https_blog.csdn.net_Evankaka_article_details_55223894]

5、Spark

[https://blog.csdn.net/u012164361/article/details/79742201][https_blog.csdn.net_u012164361_article_details_79742201]

[https_blog.csdn.net_qq_38690917_article_details_81430553]: https://blog.csdn.net/qq_38690917/article/details/81430553
[https_blog.csdn.net_Evankaka_article_details_55223894]: https://blog.csdn.net/Evankaka/article/details/55223894
[https_blog.csdn.net_u012164361_article_details_79742201]: https://blog.csdn.net/u012164361/article/details/79742201

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关 Myeclipse10 创建Maven项目有如下几种!

1、创建Maven Java项目　　1.1 选择新建Maven项目 ![1082159-20170108173728456-1318477485.png][] 1

以你之姓@/ 2024年02月18日 15:10/ 0 赞/ 51 阅读

相关 Kafka-数据持久化

Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识：磁盘很慢—这让人们怀疑使用磁盘作为持久化的性能。实际上，磁盘是快还是慢完全取决于我们是如何使用它。就目前

逃离我推掉我的手/ 2023年10月11日 12:32/ 0 赞/ 78 阅读

相关 Kafka持久化

Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识：磁盘很慢。这让人们怀疑使用磁盘作为持久化的性能。实际上，磁盘是快还是慢完全取决于我们是如何使用它。

Love The Way You Lie/ 2023年02月22日 07:55/ 0 赞/ 44 阅读

相关 Redis 有哪几种持久化方式？

Redis 提供两种持久化机制：RDB（默认）和 AOF 机制。 RDB，即：Redis DataBase，是 Redis 默认的持久化方式。按照一定的时间将内存的数据以快照

小鱼儿/ 2022年10月25日 12:50/ 0 赞/ 283 阅读

相关 redis面试：持久化机制有几种

> 什么是持久化 redis的数据全部在内存中，如果突然宕机，数据就会全部丢失，因此必须有一种机制来保证redis的数据不会因为故障而丢失，这种机制就是redis的持久化机制

青旅半醒/ 2022年09月14日 14:28/ 0 赞/ 173 阅读

相关 Mysql目前主要有以下几种索引方式

Mysql目前主要有以下几种索引方式：FULLTEXT，HASH，BTREE，RTREE。那么，这几种索引有什么功能和性能上的不同呢？ FULLTEXT 即为全文索引，

- 日理万妓/ 2022年06月07日 06:30/ 0 赞/ 284 阅读

相关 redis持久化的几种方式

转载 [1、前言][1] Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集

我不是女神ヾ/ 2022年05月21日 07:29/ 0 赞/ 212 阅读

相关 Redis持久化两种方案

1、前言最近在项目中使用到Redis做缓存，方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开

小咪咪/ 2022年04月25日 09:40/ 0 赞/ 311 阅读

相关 redis持久化的几种方式

[1、前言][1] Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集

心已赠人/ 2022年04月05日 10:38/ 0 赞/ 220 阅读

相关面试题:Redis 的持久化有哪几种方式？

![640?wx\_fmt=gif][640_wx_fmt_gif] 面试题 redis 的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何

ゝ一世哀愁。/ 2022年01月23日 13:41/ 0 赞/ 317 阅读