BI 基础知识一

桃扇骨 2022-09-26 15:54 201阅读 0赞

BI （Business Intelligence 商业智能）

商业智能产品及解决方案大致可分为数据仓库产品、数据抽取产品、OLAP产品、展示产品、和集成以上几种产品的针对某个应用的整体解决方案等。商业智能的技术体系主要有数据仓库（DW）、在线分析处理（OLAP）以及数据挖掘（DM）三部分组成。数据仓库是商业智能的基础,许多基本报表可以由此生成,但它更大的用处是作为进一步分析的数据源。所谓数据仓库（DW）就是面向主题的、集成的、稳定的、 不同时间的数据集合，用以支持经营管理中的决策制定过程。多维分析和数据挖掘是最常听到的例子,数据仓库能供给它们所需要的、整齐一致的数据。在线分析处理（OLAP）技术则帮助分析人员、管理人员从多种角度把从原始数据中转化出来、能够真正为用户所理解的、并真实反映数据维特性的信息，进行快速、一致、交互地访问，从而获得对数据的更深入了解的一类软件技术。  
数据挖掘（DM）是一种决策支持过程，它主要基于AI、机器学习、统计学等技术，高度自动化地分析企业原有的数据，做出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，减少风险，做出正确的决策.

根据BI解决方案的体系结构，一个完整的BI应用需要ETL工具、数据仓库管理工具、OLAP工具、数据挖掘工具和报表查询工具5种工具协同工作.

![20081411122.gif][]

微软的 Microsoft SQL SERVER2008 平台(包含 SQL SERVER Business Intelligence、Analysis Services、Integration Services、Reporting Services)都可以实现。

ETL：SQL Server 2008 Integration Services;

数据仓库：SQL Server 2008 Database Engine;

联机分析处理OLAP：SQL Server 2008 Analysis Services;

数据挖掘模型：SQL Server 2008 Analysis Services;

多维数据分析(B/S)：Performance Point Server Analystic;OWC;

多维数据分析(C/S)：Excel 2007/2010;

报表：SQL Server 2008 Reporting Services ;

构建多维数据集

Analysis Services数据库的建设是后面工作的基础，因为它将直接决定数据仓库、前端展现和ETL的设计。

Analysis Services数据库的设计需要注意以下几个方面：  
            1.尽量保证量度不包含任何实际的意义。  
        这一点怎样理解，例如，有时我们会将收入、成本、费用设置为不同的量度，这在以后的扩展方面会存在一定的问题。而应该将设置一个维度称为指标（其中包括这三个成员），而设置一个量度称为金额。关于这种设计的优势我会在以后的帖子中详细说明。  
            2.尽量将KPI和计算成员设置在Analysis Services数据库中，而不要设置在前端展现软件中，这样可以减少计算成员的设置数量，同时也易于维护。  
            3.在尽可能的应用脚本功能。在Analysis Services数据库中你可以使用脚本功能实现很多强大的功能，包括计算成员的设置、聚合的函数、度量的汇总和格式的设置等等。  
            4.创建标准的维度。每一个维度都要按照要求创建成标准的维度，例如主键必须为整型、包括排序键以及自定义汇总列等等，这样在后期扩展功能时会非常方便。  
         5.首先创建一个大而全的多维数据集，然后再通过透视图切分成小的多维数据集，这样可以减少存储和维护量。

在完成多维数据集的创建之后，我们需要根据多维数据集生成数据仓库,在生成数据仓库之后，我们需要在数据仓库中填充测试数据，来实现对多维数据集的测试。

包是一个有组织的集合，其中可包括连接、控制流元素、数据流元素、事件处理程序、变量和配置，您可使用 SQL ServerIntegration Services 提供的图形设计工具或以编程生成方式将这些对象组合到包中。然后，您可将完成的包保存到 SQL Server、SSIS 包存储区或文件系统中。

商业智能体系结构及构建过程：

1、）识别和确定数据源；

一个完整的商业智能体系架构图例如下所示：

![点击图片可在新窗口打开][BacoDiscussionsBlob.asp_ID_7b442D5E92-1EC6-4193-9316-620F0BEDD82C_7d]

2、）对数据进行集成和存储管理。数据集成可以分为“懒散型”和“急切型”数据集成。懒散型数据集成一般应用在数据库系统中，其显著特征是集成发生在查询产生之后。用户提出以个查询后，系统确定查询所需的数据来源，为每个来源产生子查询和命令，然后从数据源中获取信息，执行一定的转换、过滤和合并后把最终结果返回给用户。数据在查询出现后才从原始资料中提取。急切型数据集成通常出现在数据仓库计算中，它是提前预测用户的需求，把可能会被用的的数据提前从数据源中抽取出来，同样经过转换、过滤以及其他信息的合并，然后存储在集中的数据仓库中。当以个查询出现后，直接在仓库中运行，不需要进入最初的数据源系统中区，这种急切型的数据集成方法使数据仓库中存储着大量经过预先计算的总计数据和累加数据，在查询时能显著加快查询速度，满足用户对响应时间的需求。

3、）数据分析与建模。商业智能建立的本质目的是获取高投资回报率(ROI)，投资回报主要体现在商业智能的应用状况上。通过数据分析和建模将数据转化为信息，通常由数据分析工具负责完成。在商业智能系统中，交互式信息分析、挖掘工具、数据分析软件、商业智能工具和商业运营规则相结合对数据的模式和趋势进行分析，提供给用户企业商户的方方面面的详细信息。

商业智能核心技术

![点击图片可在新窗口打开][BacoDiscussionsBlob.asp_ID_7b7EE10522-77F6-47C1-8846-B2A2FA7FFCC8_7d]

构建一个完整的商业智能系统涉及到的几个核心技术：

1、）数据仓库技术：数据仓库是一个面向主题的、集成的、稳定的、包含历史数据的数据集合。它用于支持管理中的决策指定过程。数据仓库系统是对数据的处理技术的集成，而商业智能系统的核心是解决商业问题，它是把数据处理技术和商务规则相结合提高商业利润减少商业风险，是数据仓库技术、商业规则、决策处理技术相结合。

2、）数据挖掘技术（DM）：指从海量数据中发现隐藏于其后的规律或数据间的关系，通常是采用机器自动识别方式处理。数据挖掘技术中常用的数据模型有：

a、）分类模型，根据商业数据属性将数据分配到不同的组中。

b、）关联模型，主要描述一组数据项目中的密切度和关系。

c、）顺序模型，分析数据仓库中某类同时间相关的数据，并发现某一段时间内相关联的数据处理模型。顺序模型是特殊的关联模型，它在关联模型中加入了时间属性。

d、）聚簇模型，当要分析的数据缺少描述信息，或者无法组织成任何分类模型，则可以采用聚簇模型。聚簇模型是按照某种相近程度度量方法将用户数据分成互不相同的一些分组。组中的数据相近，组之间的数据相差甚大。聚簇模型的核心是将某些明显相近程度测量方法转换为定量测试方法。

3、）联机分析处理（OLAP）。它主要通过多维的方式来对数据进行分析、查询和报表处理。于OLTP不同，OLTP主要用来完成用户的事务处理，对响应时间要求较高。而OLAP主要对用户当前或历史数据进行分析处理，辅助领导决策。

[20081411122.gif]: /images/20220708/c51a22bd11f64cd39e7e019cb824c40e.png
[BacoDiscussionsBlob.asp_ID_7b442D5E92-1EC6-4193-9316-620F0BEDD82C_7d]: /images/20220708/8c85310f4d844f61a5b903e20174c92a.png
[BacoDiscussionsBlob.asp_ID_7b7EE10522-77F6-47C1-8846-B2A2FA7FFCC8_7d]: /images/20220708/8c80d930937045fbb931595a8b7c8652.png