从0到1搭建电商营销数据分析平台(四)——实时&离线&OLAP

刺骨的言语ヽ痛彻心扉 2022-11-10 14:29 206阅读 0赞

***欢迎关注公众号——《数据三分钟》***

***一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。***

![20201223224329689.jpg][]

不管是实时数据，还是离线数据，总是避不开一个问题就是“数据存储”，我们知道实时数据和离线数据在本质上有很多不同，它们对存储介质的要求也是不同的，尤其是在大数据存储的情况下，它们对数据的存储介质提出了更高的要求，同时，结果表的写入和读取还要足够快速才能满足电商数据分析平台的数据展现要求。

### **00 插一段历史** ###

司马家族在三国末年可谓人精辈出，司马懿、司马师、司马昭、司马炎，历经几代统一乱世，实现三家归晋，可是司马家族也立了一个中国历史上唯一的傻瓜皇帝——司马衷。大灾之年，百姓无收，饿殍遍野，大臣秉司马衷老百姓没有粮食吃，司马衷回答：“何不食肉糜？”，意思就是没有粮食吃，为什么不吃肉呢？

### **01** 实时数据的存储 ###

实时数据的源头一般从业务端以采集或者同步的方式发送到即时消息中间件中进行缓冲，flink任务根据业务需求消费消息中间件的数据，并将结果写入到消息中间件或者其他存储介质（例如HBase）。而从业务的角度来看，实时数据一般cover的是当天的即时数据产出，所以消息队列中的数据不需要存储很长周期，通常来说，消息队列只需要缓存最近3天的数据即可。一方面，当天的缓存数据可以满足当天的业务需求，另一方面，冗余的两天数据可以供线上任务测试。

实时任务的终态结果通常会写入HBase这种支持高吞吐写入的存储，HBase是一种列式存储数据库，其WAL机制可以满足高速写入的需求，同时支持FLINK的update值更新操作，这非常适合KEY值固定但VALUE经常变更的场景，譬如双十一的成交大屏，取数的key值不变，但FLINK任务可以一直更新结果表中的数据，展现最新的成交金额。

![94698c4c8aa9f3945d9b1e5b2afabca6.png][]

### **02** 离线数据的存储 ###

针对大数据领域，离线数据往往存储在分布式系统中，例如HDFS这样的介质中，当然最终的计算结果也可以存储在MySQL这样的传统关系型数据库中。在各个不同的生产领域，离线数据往往是最全也是最准确的，因此它的量级也是非常大的。通常来说，离线的业务表会按照分区的形式进行存储（譬如以天为粒度的分区表），同时每个表也会根据业务需要设定合理的生命周期。还有一些重要的表，因为其业务的特殊性，生命周期会设定为永久，这种情况下就不得不考虑进行数据的冷热分离，对于久远的历史数据可以采用更高的压缩比例以节省存储消耗。

![f276c5e064e219642622f85062e16ef6.png][]

### **03** OLAP场景 ###

实时的任务往往计算当天的数据，离线任务则可以计算长周期的数据，但是也会有一些场景，计算的维度并不固定，而且需要根据实际需要进行长周期的指标计算，同时计算的指标也会和变化的维表绑定，而业务上往往需要根据最新的维度进行计算，此外，业务分析还需要计算的结果可以快速产出。这样的需求往往很难仅通过实时任务或者离线任务得到最终的结果，这时候具有即席查询能力的数据库就可以大显身手了。OLAP(On-Line Analytical Processing)可以满足上述需求，它可以根据用户的查询指令，快速返回最终计算结果，实现即席查询，快速得到结果。

![36d737fb4a65fc6435977b9eb6ae47f8.png][]

在大数据领域，计算和存储是两大不可避免的治理项，只有根据的业务的需求，选择不同的存储，不同计算策略，才可以即承接业务的需求，又实现数据资产的合理增长。

[20201223224329689.jpg]: /images/20221022/da6855b0ba524e30abe2a45e051aa792.png
[94698c4c8aa9f3945d9b1e5b2afabca6.png]: /images/20221022/3a66e9433d7447e3823ec02fb5f94112.png
[f276c5e064e219642622f85062e16ef6.png]: https://img-blog.csdnimg.cn/img_convert/f276c5e064e219642622f85062e16ef6.png
[36d737fb4a65fc6435977b9eb6ae47f8.png]: https://img-blog.csdnimg.cn/img_convert/36d737fb4a65fc6435977b9eb6ae47f8.png