ETL百科

偏执的太偏执、 2022-03-25 10:14 271阅读 0赞

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、[DataStage][]、Repository Explorer、[Beeload][]、[Kettle][]、DataSpider

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到 [数据仓库][Link 1]或 [数据集市][Link 2]中，成为 [联机分析处理][Link 3]、数据挖掘的基础。

ETL一词较常出现在 [数据仓库][Link 1]，但其对象并不局限于数据仓库。

ETL是 [数据仓库][Link 1]中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库， [数据仓库技术][Link 4]没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系 [数据仓库][Link 1]中数据的质量，从而影响到 [联机分析处理][Link 3]和数据挖掘的结果的质量。

[数据仓库][Link 1]是一个独立的数据环境，需要通过抽取过程将数据从 [联机事务处理][Link 5]环境、 [外部数据源][Link 6]和脱机的数据存储介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对 [数据仓库][Link 1]中信息的有效性至关重要。

ETL(Extract-Transform-Load的缩写，即 [数据抽取][Link 7]、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从 [数据源][Link 8]向目标 [数据仓库][Link 1]转化的过程，是实施数据仓库的重要步骤。如果说 [数据仓库][Link 1]的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。

ETL是 [数据抽取][Link 7]（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建 [数据仓库][Link 1]的重要一环，用户从 [数据源][Link 8]抽取出所需的数据，经过 [数据清洗][Link 9],最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建 [联机事务处理][Link 5]OLTP的业务系统和 [办公自动化系统][Link 10]，用来记录事务处理的各种相关数据。据统计，数据量每2～3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占在总数据量的2%～4%左右。因此，企业仍然没有最大化地利用已存在的数据资源，以致于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。于是，企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。

ETL过程在很大程度上受企业对源数据的理解程度的影响，也就是说从业务的角度看 [数据集成][Link 11]非常重要。一个优秀的ETL设计应该具有如下功能：

1、管理简单

采用 [元数据][Link 12]方法，集中进行管理；接口、数据格式、传输有严格的规范；尽量不在 [外部数据源][Link 6]安装软件； [数据抽取][Link 7]系统流程自动化，并有自动调度功能；抽取的数据及时、准确、完整；可以提供同各种数据系统的接口，系统适应性强；提供软件框架系统，系统功能改变时，应用程序很少改变便可适应变化；可扩展性强。

2、标准定义数据

合理的业务模型设计对ETL至关重要。 [数据仓库][Link 1]是企业唯一、真实、可靠的 [综合数据平台][Link 13]。 [数据仓库][Link 1]的设计建模一般都依照三范式、星型模型、雪花模型，无论哪种设计思想，都应该最大化地涵盖关键业务数据，把运营环境中杂乱无序的数据结构统一成为合理的、关联的、分析型的新结构，而ETL则会依照模型的定义去提取数据源，进行转换、清洗，并最终加载到目标数据仓库中。

模型的重要之处在于对数据做标准化定义，实现统一的编码、统一的分类和组织。标准化定义的内容包括：标准代码统一、业务 [术语统一][Link 14]。ETL依照模型进行初始加载、增量加载、缓慢增长维、慢速变化维、事实表加载等 [数据集成][Link 11]，并根据业务需求制定相应的加载策略、刷新策略、汇总策略、维护策略。

3、拓展新型应用

对业务数据本身及其运行环境的描述与定义的数据，称之为 [元数据][Link 12]（metadata）。 [元数据][Link 12]是描述数据的数据。从某种意义上说，业务数据主要用于支持业务系统应用的数据，而 [元数据][Link 12]则是 [企业信息门户][Link 15]、客户关系管理、 [数据仓库][Link 1]、决策支持和B2B等新型应用所不可或缺的内容。

[元数据][Link 12]的典型表现为对象的描述，即对数据库、表、列、列属性（类型、格式、约束等）以及主键/外部键关联等等的描述。特别是现行应用的异构性与分布性越来越普遍的情况下，统一的 [元数据][Link 12]就愈发重要了。“信息孤岛”曾经是很多企业对其应用现状的一种抱怨和概括，而合理的 [元数据][Link 12]则会有效地描绘出信息的关联性。

而 [元数据][Link 12]对于ETL的集中表现为：定义数据源的位置及数据源的属性、确定从源数据到目标数据的对应规则、确定相关的业务逻辑、在数据实际加载前的其他必要的准备工作，等等，它一般贯穿整个 [数据仓库][Link 1]项目，而ETL的所有过程必须最大化地参照元数据，这样才能快速实现ETL。

[DataStage]: http://baike.baidu.com/view/1098055.htm
[Beeload]: http://baike.baidu.com/view/4028465.htm
[Kettle]: http://baike.baidu.com/view/2486337.htm
[Link 1]: http://baike.baidu.com/view/19711.htm
[Link 2]: http://baike.baidu.com/view/32574.htm
[Link 3]: http://baike.baidu.com/view/22068.htm
[Link 4]: http://baike.baidu.com/view/1341575.htm
[Link 5]: http://baike.baidu.com/view/8028.htm
[Link 6]: http://baike.baidu.com/view/1273933.htm
[Link 7]: http://baike.baidu.com/view/709638.htm
[Link 8]: http://baike.baidu.com/view/286828.htm
[Link 9]: http://baike.baidu.com/view/1739747.htm
[Link 10]: http://baike.baidu.com/view/45194.htm
[Link 11]: http://baike.baidu.com/view/2039921.htm
[Link 12]: http://baike.baidu.com/view/107838.htm
[Link 13]: http://baike.baidu.com/view/6720321.htm
[Link 14]: http://baike.baidu.com/view/4736772.htm
[Link 15]: http://baike.baidu.com/view/1875588.htm