黑马Hive+Spark离线数仓工业项目--数仓主题应用层ST层构建（1）

Myth丶恋晨 2024-03-30 13:15 39阅读 0赞

## 数仓主题应用层ST层构建 ##

**1. 构建ST层：数据应用层**  
掌握每个主题的聚合指标和聚合的维度  
\- 工单主题  
\- 油站主题  
\- 回访主题  
\- 安装主题  
\- 费用主题  
**2. DM层的设计**  
\- 运营部门需要的数据抽取

## 数仓分层回顾 ##

目标：回顾一站制造项目分层设计

实施

\- ODS层 ：原始数据层：原始事务事实表  
\- DWD层：明细数据层：原始事务事实表  
\- DWS层：维度数据层：维度数据表  
\- DWB层：轻度聚合层：主题事务事实表  
\- ST层：数据应用层：主题周期快照表  
\- 报表  
\- DM层：数据集市层：每个部门需求的数据  
\- 部门其他数据应用

## ST层的设计 ##

**目标**：掌握ST层的设计

**路径**

\- step1：功能  
\- step2：来源  
\- step3：需求

**实施**

功能：数据应用层，用于支撑对外所有主题的报表应用数据的结果

\- 对外提供整个公司所有运营的报表

来源：对DWB层的主题事实数据关联DWS层的维度表进行最终聚合

\- DWS：维度表：时间、地区、油站、组织机构

![232626978cbe42819c37e586ec21f84f.png][] \- DWB：工单、呼叫中心、费用

![f45797e2b51f497cb1e88a3c8f77b892.png][]

需求：按照一站制造的业务主题的划分需求，构建每个主题的ST层的数据

![7880281d41a34a88b56a9f0748a6104e.png][]

## 服务域：工单主题分析 ##

**目标**：掌握工单主题的需求分析

**路径**

\- step1：需求  
\- step2：分析

**实施**

**需求**：统计不同维度下的工单主题指标的结果

![d76e5a22e8574270834a14224d01256f.png][]

![15501e5b705644109870393382fb56b0.png][]

**- 呼叫中心主题事实**

**分析**

**指标**

\- 工单自处理个数、工单转派工个数  
\- 工单总数、最大值、最小值、平均值  
\- 安装总数、维修总数、巡检总数、改造总数、完工总数  
\- 中石化数量、经销商数量、其他直销数量、中石油数量、其他往来户数量、中化集团数量、中海油数量  
\- 供应商数量、一站制造数量、服务工程师数量、中铁数量、合资公司数量、军供数量、中航油数量

**维度**

\- 日期维度：天、周、月  
\- 油站维度：类型、省份、城市、地区  
\- 客户维度：类型、省份

**数据表**

\- 事实表

![8cfee80d3c664fe78207ed824084e8d1.png][]  
 **维度表**  
  
\- dim\_oilstation：油站维度表  
![4b09c51f4c1d4495acad4f23b246f602.png][]  
![258c148d868946f18377041da3dd795e.png][]  
![62badd422c2f4062bb4d5f329ac04d36.png][]

\- 实现分析【不能运行】

![b0cdd02b9e634b91ba9bb2d102648e19.png][]

## 服务域：工单主题实现 ##

**目标**：实现工单主题表的维度指标构建

**实施**

**建库**

![3acdb8cbfe8c43d0a4cb213984323048.png][]

**建表**

![388a66c3ae484aa3a078e501527d93c3.png][]

**构建**

![fc60ed3db9824b48ad608f399de889d1.png][]

## 服务域：油站主题分析 ##

**目标**：掌握油站主题的需求分析

**路径**

\- step1：需求  
\- step2：分析

**实施**

需求：统计不同维度下的油站主题指标的结果

![5de580c49e4d47e2acf9c589944c1d59.png][]

**分析**

**指标**：油站数量、新增油站数量

**维度**

\- 日期维度：天、周、月  
\- 油站维度：类型、省份、城市、地区  
\- 客户维度：类型、省份

**数据表**

## ![0c1c1e66fa214661902c085ea1fcec35.png][]   ![0c5e7cf1fa984210952a97cf552f260a.png][]服务域：油站主题实现 ##

**目标**：实现油站主题表的维度指标构建

**实施**

**建表**

![3d6654f1e54c45a387955f01d65ba031.png][]

**构建**

![51d72241ab9142f19e525dac542f2077.png][]

## 服务域：安装主题分析实现 ##

**目标**：掌握安装主题的需求分析及实现

**路径**

\- step1：需求  
\- step2：分析  
\- step3：实现

**实施**

**需求**：统计不同维度下的安装主题指标的结果 ![2c717f363cb548c1a80d4d28093e5e9e.png][]

**分析**

指标：安装数量、支付金额

维度

\- 安装方式  
\- 日期维度：天、周、月  
\- 油站维度：类型、省份、城市、地区  
\- 客户维度：类型、省份

**数据**

![db231980aa29440caf3fa6c7f86d7f59.png][]  
![da55e7ef0aa04b64b1be20fd927b7bcd.png][]

\***实现**

**建表**

![9e9ae452e9db45a59f4c7b5db44125f8.png][]

**构建**

![c92f64001adc4dce88000f0bc4ac59cb.png][]

## 服务域：维修主题分析实现 ##

\- \*\*目标\*\*掌握维修主题的需求分析及实现

\- \*\*路径\*\*

\- step1：需求  
\- step2：分析  
\- step3：实现

\- \*\*实施\*\*

\- \*\*需求\*\*：统计不同维度下的维修主题指标的结果

![c15ebc1426ef44129d30691f41b05717.png][]

**分析**

\- 指标

\- 支付费用、工时费用、零部件费用、交通费用  
\- 故障总数、最大数量、平均数量

\- 维度

\- 日期维度：天、周、月  
\- 油站维度：类型、省份、城市、地区  
\- 客户维度：类型、省份  
\- 物流公司

**- 数据**

![85146960fcfc4a8f87e3bd71453202e4.png][]  
![713e349a90754282855c0c4a0b233e1b.png][]  
**实现**

**建表**

![c390a3e1d7ac469d892a7571a8570023.png][]

**构建**

![0283fb48610944cebacfec2a37847b24.png][] ![99647fb3ddd74aafb1e66e7d28e85d2a.png][]

[232626978cbe42819c37e586ec21f84f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2f4ac414df9b4d7eb71a64d7824af936.png
[f45797e2b51f497cb1e88a3c8f77b892.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e07335fa199444cba17e6f48f7650227.png
[7880281d41a34a88b56a9f0748a6104e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7555f7996cc2424eadd21efe836b5232.png
[d76e5a22e8574270834a14224d01256f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a263321289504ea888a7b6cd7530e328.png
[15501e5b705644109870393382fb56b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/22e4f6a65dba42bca160277c87d061bc.png
[8cfee80d3c664fe78207ed824084e8d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2eb91931358a424a9dfc7524f729fc48.png
[4b09c51f4c1d4495acad4f23b246f602.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/92e56a9028e44c4a94c7f0e03e436354.png
[258c148d868946f18377041da3dd795e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8c248f209cc04108950cfa458aefb33e.png
[62badd422c2f4062bb4d5f329ac04d36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6863f6f35eb548b5b41aa3438eac8ce5.png
[b0cdd02b9e634b91ba9bb2d102648e19.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fa9df22ea8504b00b087a9f1099ac5ef.png
[3acdb8cbfe8c43d0a4cb213984323048.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a93d7918296b44f2938d3afc42e7735f.png
[388a66c3ae484aa3a078e501527d93c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/495bc88d18664b739751f6e4b610cbaa.png
[fc60ed3db9824b48ad608f399de889d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5b7ab5f5d9a84d08bb892ea92ad5c9d0.png
[5de580c49e4d47e2acf9c589944c1d59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9d727b1eeb89421f815538da01831cea.png
[0c1c1e66fa214661902c085ea1fcec35.png]: https://img-blog.csdnimg.cn/0c1c1e66fa214661902c085ea1fcec35.png
[0c5e7cf1fa984210952a97cf552f260a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4aa82c112eab4a189193689f07e043f1.png
[3d6654f1e54c45a387955f01d65ba031.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b0c8a4135ca14bfa86b3c302a6f8e42b.png
[51d72241ab9142f19e525dac542f2077.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ad0a4e3e876b4c209f62b3b7ba8ee480.png
[2c717f363cb548c1a80d4d28093e5e9e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2348c3f5ffa54ac58017b2fdb18c3f00.png
[db231980aa29440caf3fa6c7f86d7f59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0bf39da744ba46a88bd8b5eeef7cc3e8.png
[da55e7ef0aa04b64b1be20fd927b7bcd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/536d68c1640d47dd8d6be5f51ce6fc9b.png
[9e9ae452e9db45a59f4c7b5db44125f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/19d52c7eab2342d2907ef521b2bffc18.png
[c92f64001adc4dce88000f0bc4ac59cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5b978ab4f88341159a197c2bbcebc2d1.png
[c15ebc1426ef44129d30691f41b05717.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/537ee09d54114995bee3ca509832e7e7.png
[85146960fcfc4a8f87e3bd71453202e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3659a0ca19f241e0a9936601a8b75eb5.png
[713e349a90754282855c0c4a0b233e1b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/515c3e40eef946a68b683162204f1765.png
[c390a3e1d7ac469d892a7571a8570023.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/93a713f91039442abf3320dbad5e5dfb.png
[0283fb48610944cebacfec2a37847b24.png]: https://img-blog.csdnimg.cn/0283fb48610944cebacfec2a37847b24.png
[99647fb3ddd74aafb1e66e7d28e85d2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/06394156ef0d4352ad97f3f34d025052.png