黑马Hive+Spark离线数仓工业项目--数仓维度层DWS层构建（2）

缺乏、安全感 2024-03-30 12:40 33阅读 0赞

## 日期时间维度设计 ##

**目标**：掌握日期时间维度的需求与设计

**路径**

\- step1：需求  
\- step2：设计

**实施**

需求：构建日期时间维度表，得到所有年、季度、月、周、日的维度信息

![c44a3424c2de48ae9997fe11361ca845.png][]

统计不同时间维度下的呼叫次数、工单数、维修数、安装数、报销金额、核销数等

**设计**

\- 数据来源：提前通过程序生成构建，不是从数据中抽取

![6ded217741d3455a990769f029b869c9.png][]  
  
\- 执行周期：每一年生成下一年的每一天的维度信息，\*\*增量\*\*同步到维度表的分区中

## 日期时间维度构建 ##

**目标**：实现日期时间维度表的构建

**实施**

**建维度表**

![e081bb746ecc440e9f5a4c0d9eb73355.png][]

**加载数据**

![f91a521ae55a4e749f5914e04d25b117.png][]

## 服务网点维度设计 ##

**目标**：掌握服务网点维度的需求与设计

**路径**

\- step1：需求  
\- step2：设计

**实施**

**需求**：构建服务网点维度表，得到服务网点id、网点名称、网点所属的地理区域、服务网点状态等

![1d320f8b7afa4b1b993f02f57cd48b57.png][]

统计不同服务网点的服务人员数、工单数、核销数等

**设计**

**数据来源**

\- ciss\_base\_servicestation：服务网点信息表

![17cc0b80a4464233b9b1ac4780902797.png][]

\- eos\_dict\_type：字典状态类别表，记录所有需要使用字典标记的表

![d1885ed8b1694f1ca7ff34b46292e5b4.png][]  
  
\- eos\_dict\_entry：字典状态明细表，记录所有具体的状态或者类别信息

\- ciss\_base\_areas：行政地区信息表

\- 通过具体的id关联所有地区信息

**实现设计**

![8f5dc77e3a38495a9fdb104047a0c11f.png][]

## 服务网点维度构建 ##

**目标**：实现服务网点维度的构建

**实施**

**建维度表**

![7ab5a953f23b4d82a469d1f5fa269fa9.png][]

**加载数据**

![ce8d345683d045308538790e49da4e72.png][]

*  cross join：笛卡尔积，join时候不给关联条件
    
     *  select \* from A,B
     *  select \* from A join B
     *  cross join

**查看结果**  
![09f6babb1bb14e91ac55a16fc726741a.png][]

## 油站维度设计 ##

**目标**：掌握油站维度的需求与设计

**路径**

\- step1：需求  
\- step2：设计

**实施**

需求：构建油站维度表，得到油站id、油站名称、油站所属的地理区域、所属公司、油站状态等

![d10548c6128742f3b23bcba28a0056fd.png][]

**设计**

**数据来源**

ciss\_base\_oilstation：油站信息表

![d0c0ad84ccd34e0a9f3332520993122f.png][]

\- eos\_dict\_type：字典状态类别表，记录所有需要使用字典标记的表

![c02d0b52d0dd464995185072305449da.png][] \- eos\_dict\_entry：字典状态明细表，记录所有具体的状态或者类别信息

![c67a5ab7422941a7971e7131127bb522.png][]

\- ciss\_base\_baseinfo：客户公司信息表【公司ID、公司名称】

![45350af646044bac902e08e17ef40fd5.png][]

\- 数据有重复，做个去重

\- ciss\_base\_customer：客户信息表【客户id、客户省份名称、所属公司ID】

![bf7f157b304e412b90861a867612131c.png][]

\- ciss\_base\_areas：行政地区信息表

\- 通过具体的id关联所有地区信息

**实现设计**

\- 所有表按照对应字段关联，获取对应的属性字段

## 油站维度构建 ##

**目标**：实现油站维度的构建

**实施**

**建维度表**

![e83b3f396e8e4744a8a680814d23aaee.png][]

抽取数据

![03770bd6e5fb44cba67d8218ad96f790.png][]

**- 查看结果**

![ff2616913b1c4a0a8f6eb6103c169767.png][]

## 其他维度：组织机构 ##

**目标**：实现组织机构维度的设计及构建

**路径**

\- step1：需求  
\- step2：设计  
\- step3：实现

**实施**

**需求**：实现组织机构维度表的构建，得到每个工程师对应的组织机构信息

![d587c9670dc64fa08836d154c93ca17e.png][]

\- 统计不同服务人员的工单数、核销数等

**设计**

![58b8d5e6319143e8a20e21ce901a68e8.png][]

![e62abb4ed02d45e6bccbbac9a9b12619.png][]

**实现**

**建维度表**

![c16656e92d084510bddb1a0bce614973.png][]

**抽取数据** ![eeea0656de604f59b95dc5d0fd6bd277.png][]

## 其他维度：仓库、物流 ##

**目标**：实现仓库维度、物流维度的构建

**路径**

\- step1：仓库维度  
\- step2：物流维度

**实施**

**仓库维度**

**- 建表**

![3f9dcf788ffa4cabb5e4484f2243ef71.png][]**加载**

![a4a644e594b64f97a6d426b673566b0c.png][]**物流维度**

**- 建表**

![5047d9d87ff449ef9922a229351af600.png][]

**加载** ![504c62b011aa402c81e5df0f2787252a.png][]

**附录一：常见问题**

**1.错误：没有开启Cross Join**

![832470f6e75c4fbbbe83d625ec8b8ba6.png][]

Spark2.x默认不允许执行笛卡尔积，除非\*\*显示申明cross join\*\*或者开启属性：\`spark.sql.crossJoin.enabled true\`

**2.错误：Unable to move source**

![12f090bc9909497a95b38ccef84325a2.png][]

\- 重启SparkSQL的ThriftServer，与MetaStore构建新的会话连接

[c44a3424c2de48ae9997fe11361ca845.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8ffb672aba554666801cd5a8cba639a3.png
[6ded217741d3455a990769f029b869c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b2dad5bbb7654dc48335504fd6aeb7a7.png
[e081bb746ecc440e9f5a4c0d9eb73355.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/260f613ea4e3418688171480e81c0db0.png
[f91a521ae55a4e749f5914e04d25b117.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/de70f1eb6cd84cbc83c3192123e88499.png
[1d320f8b7afa4b1b993f02f57cd48b57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/87de445eb8064143a1afed810a979a0b.png
[17cc0b80a4464233b9b1ac4780902797.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c26bd903052a41bb9236a276ab5663e5.png
[d1885ed8b1694f1ca7ff34b46292e5b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/96ec60578c084532a68816e7739a8023.png
[8f5dc77e3a38495a9fdb104047a0c11f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fbedf5a996c5433dbb5ed5eb520d7000.png
[7ab5a953f23b4d82a469d1f5fa269fa9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c566b159de944ec0ab76b5a750ccb768.png
[ce8d345683d045308538790e49da4e72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/00c6c180cfcf4d1aa58b9c0ce71377db.png
[09f6babb1bb14e91ac55a16fc726741a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2f49597ec18a47c8b22778ce380ede3a.png
[d10548c6128742f3b23bcba28a0056fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1217a700ed3d4618ac29b89fffc32f65.png
[d0c0ad84ccd34e0a9f3332520993122f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ffa183670537433bad7f20a2f49db475.png
[c02d0b52d0dd464995185072305449da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f679046e711a42ba8cc59d420072a972.png
[c67a5ab7422941a7971e7131127bb522.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fc0e0474c5ca4942982c95f33620aa67.png
[45350af646044bac902e08e17ef40fd5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/00d1d1fc358d46afa55468db54225682.png
[bf7f157b304e412b90861a867612131c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/796cb17b567946f7a235c5bac1bfc5c9.png
[e83b3f396e8e4744a8a680814d23aaee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4c00ee778c02421caf580d9b9ff85d5f.png
[03770bd6e5fb44cba67d8218ad96f790.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a73b5610c69843e2afcfed02da46887d.png
[ff2616913b1c4a0a8f6eb6103c169767.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a89681eafe2f45e885b1fcd435b921fa.png
[d587c9670dc64fa08836d154c93ca17e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/094a1dbcc8194622ad970b209dbc9da5.png
[58b8d5e6319143e8a20e21ce901a68e8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6fcb8168c6404889b8c92b989765249a.png
[e62abb4ed02d45e6bccbbac9a9b12619.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/706a3831ea9c4cf3ba275b446915564d.png
[c16656e92d084510bddb1a0bce614973.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a7a56e793eee48cfa9e5545ef44813f8.png
[eeea0656de604f59b95dc5d0fd6bd277.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6b5b8f9aec5e4607b541d422eed14799.png
[3f9dcf788ffa4cabb5e4484f2243ef71.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cdaf3a13253840919db913909d9518e5.png
[a4a644e594b64f97a6d426b673566b0c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b3780896463243978c21f4ca4100bd3c.png
[5047d9d87ff449ef9922a229351af600.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/199b78af125f43f7904bd2fdee4e702e.png
[504c62b011aa402c81e5df0f2787252a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0e88668a62a04a49a7edee2b0b595de1.png
[832470f6e75c4fbbbe83d625ec8b8ba6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1614d0c1a6bf45f1b36d4381ff2a7209.png
[12f090bc9909497a95b38ccef84325a2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5a6eb78c809f4244b8fce63e16adad97.png