企业级技术与大数据BI——节选自专著《Big Data Fundamentals: Concepts, Drivers & Techniques》-蒲公英云

作者： Paul Buhler，Arcitura公司。
Thomas Erl，Arcitura公司。
Wajid Khattak，Modus21公司。
内容：
企业级技术与大数据BI是专著《Big Data Fundamentals: Concepts, Drivers & Techniques》的第4章。作者将该部分分为7个部分：（1）OLTP；（2）OLAP；（3）ETL；（4）DW；（5）Data market；（6）传统BI；（7）大数据BI。
作者将企业级技术与大数据BI的划分结构是十分合理的。
0 前言
在一个如同分层系统来执行业务的企业里，战略层限制战术层，战术层限制操作层。各层之间能达到和谐一致是通过各种度量和绩效指标来实现的，这些度量和绩效指标指导操作层如何去处理业务。
这些度量聚合起来，再赋予一些额外的意义，便成为了关键绩效指标。关键绩效指标是战术层赖以评价公司绩效或者业务执行的关键。
关键绩效指标会与其它用来评估关键成功因素的度量相关联起来，最终这一系列丰富的度量指标便对应着由数据转化为信息，信息转化为知识，知识转化为智慧。
即：
操作层——战术层——战略层
信息——知识——智慧
绩效指标——关键绩效指标——（战略）指标
相应的应该有：
DB——DW——无
信息系统——分析处理系统——复杂的查询+指导业务操作
1 OLTP
OLTP系统是一个处理面向事务型数据的软件系统。”联机事务”这个术语意指实时完成某项活动。OLTP系统存储经过规范化的操作数据，这些数据是结构化数据的一个常见来源、是分析处理的输入。大数据分析结构可以增强存储在底层RDB的OLTP数据。
图1 OLTP系统常见的案例的模型
OLTP系统支持的操作=插入+删除+更新，这些操作的反映时间是压秒级。常见的案例：订票系统、银行业务系统、POS系统。
2 OLAP
OLAP系统处理数据分析操作。OLAP对BI、DM和机器学习重要。它们与大数据有关联，因为它们既能作为数据源，也能接收数据。OLAP可用于诊断性分析、预测性分析、规范性分析。
图2 OLTP系统使用多维DB
OLAP系统使用多维DB完成耗时、复杂操作。该多维DB是为执行高级分析而优化的结构。
OLAP系统会存储一些聚集起来且去结构化的、支持快速汇报能力的历史数据。它们进一步运用了一些多维数据结构来存储历史数据的数据库，同时有基于多领域数据之间的关系来回答复杂操作的能力。
3 ETL
ETL是一个将数据从源系统中加载到目标系统中的过程。
源系统可以是一个数据库、一个平面文件或一个应用。
目标系统可以是一个数据库或其它存储系统。
图3 ETL
ETL表示了DW被喂食数据的主要过程。一份大数据解决方案是围绕着ETL的特征集来的，将各种不同类型的数据进行转换。
4 DW
一个DW是一个由历史数据与当前数据组成的中央的、企业级的仓库。数据库常常被BI用来运行各种各样的分析操作，并且它们经常会与一个OLAP系统交互来支持多维分析操作。

从不同的业务系统而来的多数商业实体相关的数据会被周期性地E、T、L，最终合并到一个单独的去规范化的DB。由于有着来自于整个企业周期性的数据输入，一个给定的DW中的数据量会持续性地增长，导致数据分析任务的反映越来越慢。因此，DW往往包含被称为分析型DB的经过优化的DB，来处理报告与数据分析的任务。一个分析型DB能作为一个单独的关系系统存在，例如一个ILAP。

5 DM
DM是存储在DW里的一个数据子集。DM术语一个分公司、一个部门、特定的业务范围。DW可以有多个DM。

企业级数据被整合，然后商业实体被提取。特定领域的实体通过ETL过程被插入DW。

6 传统BI
传统BI主要使用描述性和诊断性分析来为历史活动或现今活动提供数据。并不智能，因为智能为正确格式的问题提供答案。可以正确阐述问题需要对商务事务和数据本身的理解。BI通过即席报表、仪表板对不同关键绩效指标作报告。
6.1 即席报表
即席报表是一个涉及了人工处理数据来产生定制汇报的过程。
图6 即席报表
一次即席报表的重点在于它是基于商业中的一个特定领域的，比如他的营销管理、供应链管理。生成的特定汇报是具有丰富细节的，在性质上通常呈现扁平化风格。
6.2 仪表板
仪表板会提供关键商务领域的全局视野。展示在仪表板中的信息有着实时或近实时的周期性间隔，仪表板中的数据展示是图表状。
图7 仪表板
DW和DM含有来自整个企业的商务实体的经过归一和验证过的信息。传统的BI在离不开DM，因为DM含有BI为了汇报用途所需的经过优化和独立的数据。如果没有DM，每运行一个操作=基于ETL从DW中临时E。增加成本。
传统BI用DW、DM进行汇报、数据分析，因为它们允许带了多重连接及聚合复杂分析操作的实现。
图8 传统BI

7 大数据BI
大数据BI通过对DW中干净的、统一的、企业范围的数据进行操作，并将之与半结构化、非结构化的数据源结合起来，且基于传统BI来建构。它同时包含了预测性分析、规范性分析，来加快上午绩效的企业级理解。
传统BI分析关注单个业务流程，big data BI关注同时处理多重业务进程给。有利于从更广角度揭露企业内的模式、异常。用以前未知的、深入的洞察性视角和信息来实现Data Mining。
大数据BI对存储在企业级DW中的非结构化、半结构化、结构化数据进行analysis。这need新型特征和technology的下一代DW，存储辣子不同源的统一数据格式的干净数据。