2.1 表结构数据 (10%)

女爷i 2024-05-09 16:31 57阅读 0赞

## 1、表结构数据 ##

字段：整列数  
记录：整行数  
维度：业务角度  
度量：业务行为结果  
维度字段：文本型（状态）  
度量字段：数值型（交易结果）

![66d8c898675d46feaa375fc7ebefeb0a.png][]

--------------------

## **2、事实表&维度表** ##

#### 维度表：只包含维度，只是描述性（产品表，品牌表，客户表）   事实表：包含维度和度量（销售，采购，库存都有交易情况和金额数量） ####

![d85b7a9f53274105979d41624453fddf.png][]

--------------------

## 3、表结构数据特征 ##

#### 1、以字段或记录作为数据的引用、操作及计算的基本单位的数据 ####

> 1. 第一行为：字段名（唯一）  
> 2. 第二行以后成为：记录  
> 3. 字段不能重名  
> 4. 一个字段有一种类型（整列都是一个类型）

#### 2.、所有字段记录行数相同 ####

**1. 方形结构**（数据要完整，是一个矩阵，连续方形排列；有空值占位NULL）  
 **2. 记录行数相同**  
 **3. 处理缺失值：**  
文本型：  
1. 影响不大：忽略或替换  
2. 影响大：与业务员确认后替换或核实后删除  
数值型：  
应用环节展开

#### 3、**一个表中有且只有一个主键** ####

**1. 主键物理意义：**  
1. 单字段主键：一个字段构成  
2. 多字段联合主键  
3. 非空不重复（主键不能存在NULL，主键唯一）  
4. 定位记录行、字段名+主键值定位具体数值  
5. 以 XXID,XXNo，XX编号 为命名  
**2. 业务意义：**  
1. 表的业务记录单位。在一个数据表中所有非主键的字段都围绕主键展开

--------------------

## 4、表结构数据获取方法 ##

#### 1、 “应用”与“引用” ####

> 表格结构数据：应用  
> 表结构数据：引用
> 
> 应用：手动完成，操作不及时影响数据准确性  
> 引用：产生连接关系，自动引用。数据源变化，表结构也会更新。

![d9fe5acb6b4241ccb8552010e6e6d54d.png][]

#### 2、关系型数据库管理系统（RDBMS） ####

> 关系型数据库管理系统（RDBMS）主要任务是企业业务数据存储、检索、访问与共享  
> RDBMS→DB1(Table1，Table2，Table3)  
> →DB2(Table1，Table2，Table3)  
> →DB2(Table1，Table2，Table3)
> 
> 1. 多层级结构  
> 2. OLTP  
> 3. 可量化、结构化数据  
> 4. 提供大部分数据源  
> 5. 不善于分析

**On-Line Transaction Processing联机事务处理过程(OLTP)，也称为面向交易的处理过程。**

**基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。**

![1b54fccfd77f47dcad8b0a595c8ee15b.png][]

#### 3 、商业智能系统-BI（Business Intelligence） ####

> 用于企业决策者快速提供完整、准确、深入的数据分析结果，帮助企业决策之实现商业洞察  
> 1. 强于分析  
> 2. 多功能模块构成  
> 3. 两种类型：  
> 1. 企业商业智能系统  
> 2. 敏捷性商业智能系统（Power BI）  
> 4. 多维数据集  
> 5. 所见即所得

![d078e52a034c4a939aaff24edd091957.png][]

#### 4、 ETL（Extract-Transform-Load） ####

> 将数据从数据源端经过抽取（Extract）、清洗转换（Transform）、加载（Load）到数据仓库  
> 数据量大时候可以先抽取→加载→清洗（ELT）
> 
> 1. E 抽取：创建与不同数据源的连接关系，对这些数据源中的数据进行引用  
> 2. T 清洗转换：  
> 1. 清洗：  
> 筛选过滤不完整、错误、重复的数据记录（删除或补全影响业务较大的数据；人为或程序Bug；不合理的重复记录，如多录入了一次）  
> 2. 转换：  
> 1. 对“粒度”不一致的数据进行转换（如一个系列产品有多个型号，只关注一个系列的产品，需要将多个型号转换为一个系列）  
> 2. 对业务规则不一致的数据进行转换（如：新旧物料号需先转换为新的物料号）  
> 3. 非结构到结构化的转换（Level 1 不涉及）  
> 3. L 加载：  
> 将抽取出来的数据经过处理后存到数据仓库，进行存储和使用  
> 数据仓库（DW）  
> 除了数据库的内容，还要引用其他相关系统之外的数据（行业市场数据、供应商等公司外部的数据）  
> DW: DB + 网页 + CSV + TXT + 其他数据源

![2d2754992ce543bbb9d6aa7a4f910d88.png][]

#### 5、 数据仓库DW（Data Warehouse） ####

**用来存储分析所需要的的不同数据源上的所有相关数据信息**

![67ec5ed04fb74e79a6cec3139c54ffe5.png][]

#### 6、 OLAP（Online Analytical Processing，*联机分析处理*） ####

> 连接信息孤岛、创建多维数据类型

![f65d0c748f96467b8e08599f2fd8065c.png][]

**一个完整的BI项目，先后要涉及到：**

ETL——DW——OLAP——数据可视化 4个软件

还要经过业务理解，多维度数据获取加工，多维数据获取创建，透视分析规则创建以及分析结果展现。

--------------------

### 5、表结构数据的使用方法 ###

#### 1、表结构数据的横向合并 ####

> 将不同表中的字段信息合并到同一个表中使用
> 
> 1. 通过公共字段匹配  
> 具有相同的记录值的字段（如两个表都有：相同的字段值（不是字段名），允许不一一对应）  
> 2. 左表与右表  
> 对于SQL: A join B A为左表 B为右表  
> 连接方向：  
> 1. 左连接：left join 左表为主表，左表应该出ID  
> 2. 右连接：right join 右表为主表，右表应该出ID  
> 3. 内连接： inner join 没有主副之分，只保存公共的区域  
> 3. 对应关系  
> 决定连接结果行数是对项乘积的结果  
>   
> 一对多，多对一，多对多  
> 一般选择一对多的连接方式（主键→非主键）
> 
> 4. E-R 图  
> 多表连接的鸟瞰图

#### 2、表结构数据的纵向合并 ####

> 多表中的记录合并到同一个表中使用的合并方式称为纵向合并  
> 1. 去重合并（UNION）和全合并（UNION ALL）  
> 2. 满足条件：  
> 1. 字段个数相同（列相同）  
> 2. 相同字段的类型相同

#### 3、表结构数据的汇总 ####

> 数据透视：对零散数据进行汇总的分析
> 
> 1. 维度：业务观测角度 （员工）分组依据
> 
> 2. 度量：业务行为结果 （销售金额）  
> 3. 汇总计算规则：衡量业务好坏 （对销售金额求SUM）聚合规则
> 
> 透视图可以在零散的表格记录中汇总：各个员工的销售业绩

聚合规则：  
1. 合并（SUM）  
2. 计数（COUNT / DISTINCOUNT）  
3. 平均 （AVERAGE）  
4. 最大值 （MAX）  
5. 最小值（MIN）

#### 4. 数据分析的业务意义 ####

![621f702071aa451e82637bf9a3e8af44.png][]

[66d8c898675d46feaa375fc7ebefeb0a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/68431a56307e4c93b5b52379445f2e7c.png
[d85b7a9f53274105979d41624453fddf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/964919f09f0a4ef887f661658bc7aae7.png
[d9fe5acb6b4241ccb8552010e6e6d54d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/a811f958b9d94c37880f7c8b8c974b94.png
[1b54fccfd77f47dcad8b0a595c8ee15b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/f72bb191d5c841078d805ef4de7f2dc6.png
[d078e52a034c4a939aaff24edd091957.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/fd8a4672c5c3459db67688c846e04ec3.png
[2d2754992ce543bbb9d6aa7a4f910d88.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/d58d02236533447cb1990c14c6ebdfe5.png
[67ec5ed04fb74e79a6cec3139c54ffe5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/d9d3d30b8ae6477fa3b37138da9e9ca5.png
[f65d0c748f96467b8e08599f2fd8065c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/4b9f579e82eb4db68c37b35dbb11f366.png
[621f702071aa451e82637bf9a3e8af44.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/09/bb9eeca31ab548dcb97981daf43b7f30.png