数据治理 - 数据仓库解释

r囧r小猫 2023-07-11 05:56 2阅读 0赞

一、数据仓库

数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策。

l 面向主题：传统的数据库是面向事务处理的，而数据仓库是面向某一领域而组织的数据集合，主题是指用户关心的某一联系紧密的集合。

l 集成：数据仓库中数据来源于各个离散的业务系统数据库、外部数据、非结构化数据的集合，数据仓库数据是集成的。

l 相对稳定：数据仓库中的数据不应该支持dml操作，而是通过批处理方式进行数据的处理。

l 反应历史：数据仓库保存了数据的历史各个版本。

我们今天所介绍的就是数据仓库保留数据历史版本的一种方法-拉链表。

这里我简单介绍一下我们数据仓库中扫采用的架构，主要包括贴源层、明细层、汇总层、集市层、报表层、维度层，简单的介绍如下：

l 贴源层：采集的各个业务系统数据首先存储在贴源层中，这里需要注意的是采集业务源数据的方法，增量采集还是全量采集，好的业务系统设计应该支持增量采集（这里留一个问题作为思考：增量采集数据应该满足哪些要求），这样的好处减少了采集数据对仓库资源和业务系统资源的消耗。

l 明细层：该层采用规范化方式存储数据，处理数据主要来自于贴源层，实现的目的主要包括面向主题设计存储结构、集成不同业务源数据、统一编码规范、保留历史数据（拉链表主要在这一层中进行设计实现）等仓库基本要处理的

l 汇总层：对于明细层整合的数据，针对需要汇总的指标按照业务口径进行计算并且初步反规范化设计实现连接明细层的规范化数据成小宽表，目的方便下一步处理使用。

l 集市层：面向不同需求方，按照维度建模方法，进行星型模型设计， 这一层设计完成后的目的要达到可以方便出具报表和日常提数任务。这里有些仓库设计人员还会用另一个思路，即集市层不采用星型模型设计方法，而是设计大宽表，采用这种方式的设计人员主要理由是这种方式方便人们使用。

l 报表层：根据各个部门不同需求出具报表。

l 维度层：统一存储数仓维表相关数据。

目前数据仓库设计主要有两个阵营，kimball和inmon架构，这里不会针对与这两种放进进行详细说明。个人所接触项目经验，如果极端采用某一种架构，最后数仓项目成功概率都很低，因此个人建议结合两种架构的优点进行数仓设计（即三范式简历数仓明细层，集市层采用星型模型设计方法），合理结合两种思路优点可以有效的避免业务驱动方式带来的烦杂工作以及需求驱动所带来的后期维护及扩展性问题。

发表评论取消回复

表情：

评论列表（有 0 条评论，2人围观）

还没有评论，来说两句吧...

相关阅读

相关数据仓库搭建及数据治理

前文：关于一个数据仓库的相关搭建及数据治理一、项目搭建、数据治理 ![watermark_type_ZmFuZ3poZW5naGVpdG

小咪咪/ 2023年07月12日 14:15/ 0 赞/ 34 阅读

相关数据治理 - 数据仓库解释

一、数据仓库数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策。 l 面向主题：传统的数据库是面向事务处理的，而数据仓库是面向某一领域

r囧r小猫/ 2023年07月11日 05:56/ 0 赞/ 3 阅读

相关数据治理 - 数据仓库历史数据存储 - 拉链表

> 什么是拉链表拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。我们先看一

小咪咪/ 2023年07月10日 14:24/ 0 赞/ 1 阅读

相关数据治理-＞数据资产管理-数据治理框架

![从数据治理到数据资产管理-数据治理框架再思考][-] 今天准备再谈下数据治理以及对数据治理框架的初步思考。实际上我在前面谈数据中台和主数据管理的时候多少谈

电玩女神/ 2022年12月22日 09:12/ 0 赞/ 199 阅读

相关数据治理简介

参考文章：[数据治理到底能治什么，怎么治][Link 1] [浅谈数据治理][Link 2] [数据治理的定义，挑战和最佳实践][Link 3] 1. 数据治理的背景

爱被打了一巴掌/ 2022年11月07日 00:55/ 0 赞/ 188 阅读

相关老姜-政务数据治理项目-数据治理实战

1. 数据分层介绍以及数据源梳理政务大数据治理数仓模型 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

曾经终败给现在/ 2022年08月31日 13:18/ 0 赞/ 272 阅读

相关老姜-政务数据治理项目-数据治理方法论

数据治理主要包含： 1. 数据接入 2. 数据处理 3. 数据治理 4. 数据组织 1.数据接入主要包含： 1. 数据探查 2. 数据定义 3. 数

柔光的暖阳◎/ 2022年08月31日 12:30/ 0 赞/ 210 阅读

相关数据管理，数据治理，数据管控

最近接触到数据管理、数据治理、数据管控，三个数据相关的专业词汇，对于他们的理解，也是不断加深中。查资料的时候，碰巧看到一篇国家网信办的文章《试论加强数据治理能力的重要性》，

野性酷女/ 2022年08月28日 11:46/ 0 赞/ 68 阅读

相关元数据与数据治理｜大数据治理（第九篇）

魅族大数据平台的一个技术分享活动,话题是《大数据治理之路》.魅族大数据平台工作人员分享了一些他们的大数据治理经验,很有内容。首先,他们整理了一个治理流程,架构图

心已赠人/ 2022年03月28日 13:52/ 0 赞/ 394 阅读

相关【数据仓库】数据仓库概述

1.RDBMS数据库随着关系数据库理论的提出，诞生了一系列经典的RDBMS，如Oracle，MySQL，SQL Server等。这些RDBMS被成功推向市场，并为社会信息化

向右看齐/ 2021年12月03日 23:15/ 0 赞/ 376 阅读