数据仓库ETL（二）基本概念

素颜马尾好姑娘i 2022-11-27 10:15 242阅读 0赞

数据治理领域有一些基本名词，数据仓库，数据挖掘，商业智能，数据同步，联机计算等等，下面一起看一下专有的名词。

# DB(DataBase) #

数据库，一般指支撑应用的数据库，包括MySQL，Oracle，PostgreSQL，SqlServer等关系型数据库，也可以是MongoDB，Redis，HBase等非关系型数据库。特点是保留数据的最新状态，一般只支持查看数据的实时状态，而且只有最新状态的数据，不支持数据历史某一时刻状态。

# OLTP（On-Line Transaction Processing） #

在线事务处理，一般是指基于数据库支持应用事务处理，用来实现应用的各种事务需要，使基于数据库的数据操作保持原子性，一致性，隔离性，持久性。

# DW（Data Warehouse） #

数据仓库，保存一个或多个应用的数据库在不同时间点的数据，方便进行数据统计，分析，挖掘，支持管理，决策的。通常要支持存储海量的数据，并且支持在海量数据之上进行OLAP的统计分析。

# OLAP（Online Analytical Processing） #

联机分析处理，在数据仓库的数据之上，对数据仓库的数据进行统计，分析，包括多维度统计分析，下钻，上卷，切面等，提供直观易懂的结果，支持BI组件对数据的直观展示，辅助管理，决策。

# DM（Data Mining） #

数据挖掘，在数据仓库之上，通过数据挖掘方法论，在大量的数据中挖掘有价值的数据。分析数据趋势，数据联系，得出科学规律。

# BI（Business Inteligence） #

商业智能，对OLAP数据分析，DM数据挖掘的数据，给领导者，决策者进行数据直观展示，包括图表，地图，数据趋势，驾驶舱等，最终实现商业价值。

# ETL（Extract Transform Load） #

数据抽取—传输—加载的过程，一般指实现数据抽取，传输，加载的工具，用来从DB，日志，文件等数据源同步数据到数据仓库。

在一张图中反应在数据治理应用中DB，OLAP，DW，OLTP，DM，BI，ETL各自位置如下。  
![数据治理][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWhhb18_size_16_color_FFFFFF_t_70_pic_center]  
接下来来了解各个关键节点使用到的技术。  
**（完）（^\_&）**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWhhb18_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/7e97b1979a554fb58c8280fb2b55146b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，242人围观）

还没有评论，来说两句吧...

相关阅读

相关 [原创]-数据仓库ETL开发

![format_png][] ETL开发概述 ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。 ![form

雨点打透心脏的1/2处/ 2022年12月21日 06:00/ 0 赞/ 369 阅读

相关 ETL数据仓库技术概念与工具

目录简介 ETL与ELT 工具参见 ETL架构级别概述数据的抽取（Extract）数据的清洗转换（Cleaning、Transform） ETL日志、

曾经终败给现在/ 2022年12月03日 11:28/ 0 赞/ 269 阅读

相关数据仓库ETL（二）基本概念

数据治理领域有一些基本名词，数据仓库，数据挖掘，商业智能，数据同步，联机计算等等，下面一起看一下专有的名词。 DB(DataBase) 数据库，一般指支撑应用的数据库，

素颜马尾好姑娘i/ 2022年11月27日 10:15/ 0 赞/ 243 阅读

相关数据仓库(四)之ETL开发

概述 ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。 ![70][] 分层的作用 ![70 1][] STG层

你的名字/ 2022年11月13日 04:23/ 0 赞/ 1057 阅读

相关 [数据仓库]概念

数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。　　所谓主题，是指用户使用数据仓库进行决策时所关心的重点

水深无声/ 2022年07月13日 11:17/ 0 赞/ 211 阅读

相关数据仓库之 ETL

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源–>OD

本是古典何须时尚/ 2022年05月12日 16:58/ 0 赞/ 297 阅读

相关数据仓库基本概念

1.什么是数据库？数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库是长期储存在计算机内、有组织的、可共享的数据集合。

缺乏、安全感/ 2021年12月18日 13:23/ 0 赞/ 315 阅读

相关 ETL学习心得：探求数据仓库关键环节ETL的本质

[开发者在线 Builder.com.cn][Builder.com.cn] 作者：来源:CSDN 本文关键词：元数据数据仓库ETL 做数据仓库系统，

痛定思痛。/ 2021年12月12日 02:25/ 0 赞/ 314 阅读

相关数据仓库之ETL

注：参考xiaohai798的专栏、[http://superlxw1234.iteye.com/blog/1666960][http_superlxw1234.iteye.c

爱被打了一巴掌/ 2021年09月14日 03:50/ 0 赞/ 379 阅读

相关数据仓库之 ETL漫谈

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源-->ODS(

ゝ一世哀愁。/ 2021年07月26日 16:31/ 0 赞/ 616 阅读