Apache Kudu

超、凢脫俗 2022-11-20 08:15 213阅读 0赞

### 前言    ###

在Kudu出现前，由于传统存储系统的局限性，对于数据的快速输入和分析还没有一个完美的解决方案，要么以缓慢的数据输入为代价实现快速分析，要么以缓慢的分析为代价实现数据快速输入。随着快速输入和分析场景越来越多，传统存储层的局限性越来越明显，Kudu应运而生，它的定位介于HDFS和HBase之间，将低延迟随机访问，逐行插入、更新和快速分析扫描融合到一个存储层中，是一个既支持随机读写又支持OLAP分析的存储引擎。本篇文章研究一下Kudu，对其应用场景，架构原理及基本使用做一个总结。  
  
**Kudu介绍**

### 在Kudu出现前，无法对实时变化的数据做快速分析： ###

![alt Kudu-01][]

以上设计方案的缺陷：

1.数据存储多份造成冗余，存储资源浪费。

2.架构复杂，运维成本高，排查问题困难。

而Kudu就融合了动态数据与静态数据的处理，同时支持随机读写和OLAP分析。

### **Kudu与HDFS,HBase的对比：**   ![alt Kudu-02][]   适用场景 ###

*  既有随机读写随机访问，又有批量扫描分析的场景(OLAP)
 *  HTAP（Hybrid Transactional Analytical Processing）混合事务分析处理场景
 *  要求分析结果实时性高（如实时决策，实时更新）的场景
 *  实时数仓
 *  支持数据逐行插入、更新操作
 *  同时高效运行顺序读写和随机读写任务的场景
 *  Kudu作为持久层与Impala紧密集成的场景
 *  解决HBase(Phoenix)大批量数据SQL分析性能不佳的场景
 *  跨大量历史数据的查询分析场景（Time-series场景）

### 特点及缺点 ###

**特点**

*  基于列式存储
 *  快速顺序读写
 *  使用 LSM树 以支持高效随机读写
 *  查询性能和耗时较稳定
 *  不依赖Zookeeper 有表结构，需要定义Schema，需要定义唯一键，支持SQL分析（依赖Impala，Spark等引擎）
 *  支持增删列,单行级ACID（不支持多行事务-不满足原子性）
 *  查询时先查询内存再查询磁盘
 *  数据存储在Linux文件系统，不依赖HDFS存储

**缺点**

*  暂不支持除PK外的二级索引和唯一性限制
 *  不支持多行事务 不支持BloomFilter优化join
 *  不支持数据回滚
 *  不能修改PK，不支持AUTO INCREMENT PK
 *  每表最多不能有300列，每个TServer数据压缩后不超8TB
 *  数据类型少，不支持Map，ARRAY，Struct等复杂类型

**与相似类型存储引擎对比  **

本文重点说Kudu，但我们也需要了解其他类似组件，了解它们各自擅长的地方，才能更好地做技术选型。这里简单对比一下Kudu，Hudi和DeltaLake这三种存储方案，因为它们都具有相似的特性，能解决类似的问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljeTA3MDY_size_16_color_FFFFFF_t_70][]  
**选择建议：**考虑实时数仓方案以及SQL支持方面可选Kudu，数据湖方案及可回滚可选DeltaLake和Hudi，考虑兼容性高且应对读多写少读少写多都有很好的方案选Hudi，考虑并发写能力读多写少且与Spark紧密结合选DeltaLake。

### 原文链接：[https://shmily-qjj.top/5f26355/][https_shmily-qjj.top_5f26355] ###

[alt Kudu-01]: /images/20221120/918e9b4d480641b2a41de73f0f3bdbbe.png
[alt Kudu-02]: https://img-blog.csdnimg.cn/img_convert/386f3a0301e4dd87093bd5d721d62ada.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljeTA3MDY_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201027173111681.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljeTA3MDY=,size_16,color_FFFFFF,t_70
[https_shmily-qjj.top_5f26355]: https://shmily-qjj.top/5f26355/