数仓数据处理与数据流向

柔光的暖阳◎ 2022-09-05 00:30 301阅读 0赞

### 文章目录 ###

*  一、数据流向
 *  数据运营层（ODS）数据采集
 *  数据仓库（DW）
 *   *  DWD：data warehouse details 格式化预处理
     *  DWB：data warehouse base
     *  DWS：data warehouse service
 *  数据服务层/应用层（ADS）
 *  二、数据仓库数据处理流程
 *   *  数据采集
     *   *  日志类文件
         *  DB数据源数据采集
     *  数据入库
     *  数据清洗ODS
     *  数据轻度聚合 DWS

# 一、数据流向 #

# 数据运营层（ODS）数据采集 #

ODS：Operation Data Store 数据准备区，也称为贴源层

数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。

ODS的意义，在于保存最完整的数据现场，便于一些特殊场景下的问题排查使用。

点击、展现、订购、收视

# 数据仓库（DW） #

Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步**挖掘数据资源、为了决策需要**而产生的，它是**一整套包括了etl、调度、建模在内的完整的理论体系**。

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 它是单个数据存储，出于分析性报告和决策支持目的而创建。

DW数据分层，由下到上为DWD，DWB，DWS。

## DWD：data warehouse details 格式化预处理 ##

DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。

主要对ODS数据层做一些数据清洗和规范化的操作。

预处理指将数据变成半格式化或者是格式化数据，例如存在HDFS上的标准格式，我们就用字符串的格式来统一存储。

处理一些脏数据，例如字段缺失、格式错误、乱码、空值，等等

*  数据清洗：去除空值、脏数据、超过极限范围的

统一预处理

## DWB：data warehouse base ##

DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。

## DWS：data warehouse service ##

DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。

*  用户行为，轻度聚合
 *  主要对ODS/DWD层数据做一些轻度的汇总。

# 数据服务层/应用层（ADS） #

*  ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。

保证数据的一致性，保证需求响应的速度

# 二、数据仓库数据处理流程 #

## 数据采集 ##

### 日志类文件 ###

数据采集流程，以中兴cdn收视话单采集流程为例

### DB数据源数据采集 ###

DB数据源采集，常见的有Mysql、mongodb,主要使用datax作为数据抽取工具，以CMS内容数据抽取为例，介绍DB数据采集流程：

## 数据入库 ##

数据入库流程，数据采集节点的Flume采集到数据之后，会向数据仓库节点Flume发送，数仓节点flume接收到数据后写入文件系统，文件写入完成后写入hdfs，账期数据到达hdfs后会通知调度系统，调度系统接收信令得知某类账期数据已入库。

## 数据清洗ODS ##

数据清洗操作，将hdfs文件加载到ods层数据，完成原始数据的ID统一化、异常值清洗、统一数据格式、关联维表进行维度属性补充等。

## 数据轻度聚合 DWS ##

DWS层数据轻度聚合，划分主题域，冗余尽可能多的维度信息，对于提高下游计算的速度、减少运算数据量、简化业务逻辑、合并计算单元等具有特别大的好处。聚合过程中，往往会将事实表关联一个或多个维度表，计算过程会生成大量中间数据，计算完成后清理中间过程数据，将结果数据写入目标表。

发表评论取消回复

表情：

评论列表（有 0 条评论，301人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据——数据流式处理

一、概念大数据中包含两种处理方式：流处理和批处理。 * **流处理：**即流式处理。流式处理假设数据的潜在价值是数据的新鲜度，需要尽快处理得到结果。在这种方式...

爱被打了一巴掌/ 2024年04月17日 17:11/ 0 赞/ 101 阅读

相关数据隔离与数仓分层

一、数据隔离数据隔离可以包含物理隔离与数据隔离2种，其中有多租户隔离、数据源隔离、共享数据表隔离、分片隔离等待。二、数据隔离方法 <table> <thead>

系统管理员/ 2023年07月15日 13:11/ 0 赞/ 26 阅读

相关大数据之CDH数仓(11) | 数仓之即席查询数仓搭建

目录 Impala安装添加服务选择Impala服务角色分配配置Impala 启动Impa

本是古典何须时尚/ 2022年12月11日 15:18/ 0 赞/ 309 阅读

相关大数据之CDH数仓(9) | 数仓之业务数仓搭建

目录业务数据生成建表语句生成业务数据业务数据导入数仓 Sqoop定时导入脚本 ODS层创建订

约定不等于承诺〃/ 2022年12月11日 15:11/ 0 赞/ 336 阅读

相关大数据之CDH数仓(8) | 数仓之用户行为数仓搭建

目录用户行为日志生成日志数据导入数仓日志采集Flume配置 Flume拦截器消费Kafka Flume配置

浅浅的花香味﹌/ 2022年12月11日 15:07/ 0 赞/ 401 阅读

相关大数据之CDH数仓(5) | 数仓之CDH

Cloudera Manager提供了十分方便的安装向导，大大简化了CDH的安装和部署。选择商业版本 1）欢迎页面 ![在这里插入图片描述][watermark_

待我称王封你为后i/ 2022年12月11日 13:52/ 0 赞/ 293 阅读

相关数仓学习|初始数仓

目录（1）图解数仓架构（2）数据仓库的特性（3）为什么要建立数据仓库（4）操作性系统，把控数据的三个维度

亦凉/ 2022年09月15日 12:40/ 0 赞/ 239 阅读

相关离线数仓和实时数仓架构与设计

前言：离线数仓和实时数仓架构与设计讲解离线数仓和实时数仓架构与设计一、数仓架构演变（场景驱动）二、离线大数据架构三、离线数仓分层四、离

素颜马尾好姑娘i/ 2022年09月13日 04:07/ 0 赞/ 336 阅读

相关数仓数据处理与数据流向

文章目录一、数据流向数据运营层（ODS）数据采集数据仓库（DW） DWD：data warehouse details 格式化预处理

柔光的暖阳◎/ 2022年09月05日 00:30/ 0 赞/ 302 阅读

相关 redux(二) 数据流向

上节我们做了一个简单的例子 ![这里写图片描述][SouthEast] 点击按钮,hello会变成其他字符 ![这里写图片描述][SouthEast 1] 点击字体，

约定不等于承诺〃/ 2022年06月12日 03:12/ 0 赞/ 323 阅读