数据仓库之分层模型

小咪咪 2021-12-22 12:27 580阅读 0赞

### 一、各行业使用的分层模型 ###

不同的行业使用的分层也有所不同，但思想都差不多

**1.电信通讯**

> stage层 ->bdl层 ->analysis层

**2.传统金融/保险**

> ods层 ->pdm层 ->dm层

**3.互联网金融/电商**

> odl层 ->bdl层 ->idl层 ->adl层

### 二、专业术语 ###

**ODL层 （Operational Data Layer）**：操作数据层  
  保存原始数据。外部数据什么样，该层数据就是什么样（关系型数据库、JSON格式等)。

**BDL层 （Base Data Layer）**：基础数据层  
  做统一的清洗处理。去重、去噪、字典翻译、空值转化，日期格式化等操作。

**IDL层 （Interface Data Layer）**：接口层，也称主题表，宽表  
  业务数据底表。在bdl层上，join各表后产生业务所需要的完整数据。

**ADL层（Application Data Layer）**：应用层 ，也称数据集市\*\*  
  与需求对接。由idl层基于某些维度的深度加工统计汇总等操作转化而来，涉及到多个主题以及tmp数据之间的关联JOIN后的结果。

**DIM层（Dictionary Data Layer）**：字典层，又称dic层  
  存储一些诸如省、市、县区域表、渠道列表、商品类目等等表数据，可以从数据源sqoop导入。

**TMP层（Temporary Data Layer）**：临时层  
  存储一些中间计算结果

![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA3NjY1MTk_size_16_color_FFFFFF_t_70][]

image

1.  层次间的转换没必要循规蹈矩，按部就班，适当做到灵活，避免重复清洗浪费资源
2.  ODL层干净的关系型数据可以直接转换为IDL层数据，减少计算量
3.  ODL层侧重与外部对接，BDL层/TMP层/IDL层侧重清洗，IDL层和ADL层侧重对外提供应用服务
4.  层数太少不够灵活，太多则在数据推翻重洗耗时，时间成本（一个坑）
5.  数据源提供的数据越详细越好，避免后期大量重复的清洗工作。

此外，大家可能经常听到“星型模型”和“雪花模型”，简单解释下  
（1）星型模型：事实表+维度表（区域、类目、性别...)等多表通过预先JOIN冗余到一张宽表里去，常见IDL层。  
（2）雪花模型：在计算的时候，才将事实表跟维度表做join。

现在一般都是采用（1）的模式，为什么呢？ 预先计算，提高性能，避免后续重复计算。CPU和内存的资源永远比磁盘空间宝贵的多。至于（2)的方式，有点就是灵活，不需要太多的重复清洗，但是性能不如（1）.

数据仓库的建设需要从从需求出发，逆推应用层ADL结构，进而推导出它涉及的主题表IDL表结构，再推导可能涉及的基础表BDL表结构，最后分析所需的数据源取自何处。需求需要包含“明确”需求和“潜在”需求。

### 三、开发步骤 ###

1.  创建ODL、BDL、IDL、ADL层表结构(HQL)
2.  确定数据抽取方案（增量或全量）
3.  编写sqoop脚本将数据同步到dim层、使用脚本将源数据同步到odl层
4.  编写ODL->BDL->IDL->ADL层ETL清洗脚本(HQL)
5.  确保上一层的数据稳定，减少对下一层的影响
6.  编写azkaban、Ooize脚本
7.  打通Kylin、FineBI、Hive关系，实现数据可视化、可导出目标

### 四、HIVE开发规范 ###

表命名规范

> ODL层：表名前缀 odl\_  
> BDL层：表名前缀 bdl\_  
> IDL层：表名前缀 idl\_  
> ADL层：表名前缀 adl\_  
> TMP表：表名前缀 tmp\_  
> DIM表：表名前缀 dim\_

外部表和内部表

尽量使用内部表。从数据安全的角度考虑，源数据可能被丢失，损坏，而这些情况在hadoop集群上发生的几率更小

建表规范

*  每个表增加个ds时间分区，表示数据是哪一天的，也方便重跑数据
 *  boolean类型统一使用0或1
 *  钱相关的金额建议使用decimal，而非double ，避免一些计算导致精度不准确
 *  日期格式使用 YYYY-MM-DD HH:MM:SS 、YYYY-MM-DD或 YYYYMMDD格式
 *  ...

[Image 1]: 
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA3NjY1MTk_size_16_color_FFFFFF_t_70]: /images/20211220/65df68a141814011b04c69c03ddeca98.png