从0到1搭建电商营销数据分析平台(一)-蒲公英云

欢迎关注公众号——《数据三分钟》

一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，祝你成为数据达人。还有面试指导和内推机会。

电商领域数据是最重要的能源，数据的力量正越来越多的影响和决定着决策。

1、电商局势

如今中国的电商时代呈现三足鼎立的态势：天猫淘宝深耕多年，品类齐全，头部商家悉数置于囊中；京东自营兼平台，还有高效物流加成，火力全开；拼多多后起之秀，迎头赶上，价格优势与拼团玩法疯狂助长GMV。除此之外，各类垂直电商精工细作，在各自的领域也颇有建树，如蘑菇街、唯品会、得物、网易严选等，现在抖音都开启了自己的电商业务。

然而电商的运营、分析、决策永远离不开一个词——数据，无论是日销数据，还是围绕促销活动的全周期数据，皆具有极大的决策价值，甚至直接关乎参与电商活动个体的生死。各大头部商家也越来越重视数据的价值，愿意付费获取平台提供的分析数据，甚至斥巨资搭建自己的数据平台。随着电商领域竞争的白热化，电商运营者愈发注重数据的实效性，小时延迟的数据产出在很多领域已经不能满足决策的需求。如何获取数据？如何获取毫秒级延迟的实时数据？如何高效处理数据？如何分析数据？如何看数懂数？如何从0到1搭建一套个性适用的电商营销数据平台？相信这些是所有电商管理者、运营者、分析师、数据工程师，数据PD都非常关心的问题。换言之，任何一个脱离数据的电商人，永远不会拥有更开阔的视野，他又怎能运筹帷幄决胜千里之外。

插一段历史典故：楚汉相争的时代，除了项羽刘邦，韩信绝对算得上是顶顶重要的人物。从受胯下之辱，在项羽麾下碌碌无为，到经萧何引荐，拜大将军，从此人生开挂。韩信灭齐国，派人去对刘邦说：“齐地无王，请做代齐王”；当时刘邦和项羽对峙，战况焦灼，瞬间气得冒火，还好萧何踩了下刘邦的脚，刘邦马上反应过来，说道：“大丈夫要做就做真王，做什么代王，就封你为齐王。”有一次刘邦问韩信：“你觉得我带兵能带多少人？”韩信说：“最多十万。”刘邦又问：“那你能带多少兵？”韩信答：“多多益善。”，意思是，韩信有多少兵就能带多少兵，在老板面前这么轻狂可不好，韩信立马知道自己说错话了，于是又补了一句：“上善将将，臣善将兵。”

本系列文章，将从数据采集、数据传输与存储、数据计算、作弊与反作弊、产品功能模块、数据应用及价值等多个方面全面解析电商营销数据分析平台的全链路构成。管中窥豹，可见一斑；两耳塞豆，不问雷霆，我的文字输出可能只是茫茫大数据领域的沧海一粟，但愿可以用易懂的文字，道出电商营销数据分析平台。

2、系列文章-大图

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1X2Jhbw_size_16_color_FFFFFF_t_70

在大数据计算方面，传统数据链路以离线处理为主，网页的点击、曝光、交易信息数据会首先上传到数据库，再经过数据的清洗、抽取、转换、加载将结果在前端数据产品上展现，这也是ETL（Extract-Transform-Load）工程师的主要工作之一。

随着电商分析对实时数据的需求越来越高，实时计算的能力也越来越被看中。实时计算框架storm，基于微批处理的spark，可以实现流批一体运算的flink应运而生，展现出极大的生命力，社区人数迅速增加。各公司对实时技术的迫切需求，也加剧了现在实时技术人才短缺的局面。基于LAMDA架构的大数据处理模型迅速走红，被越来越多的公司采用，该架构是由Twitter工程师南森·马茨（Nathan Marz）提出的大数据处理架构。

LAMDA架构可扩展性强，灵活性高，可以兼容大数据常见的诸多问题（譬如机器故障、计算存储成本），LAMDA架构图可简单表示如下：

当然LAMDA架构也有自己的缺点，首先，Batch层和Stream层的计算框架不同，引擎的差异势必要求维护两套代码，开发的成本加倍，而且容易带来口径上的差异。

意识到LAMDA架构的不足，那么有没有一套架构可以一套代码完成快速的实时计算以及精准的离线计算呢？答案是有的，FLINK是一套流批一体的计算引擎，天然可以解决LAMDA架构的不足，后续的文章会详细介绍流批一体技术，敬请期待。

3、产品功能模块划分

电商营销数据分析产品的功能模块是怎样的？

如果按数据域来划分的话，可以分为交易模块、流量模块，还可以针对性的加入加购模块等。

如果按数据功能划分的话，可以分为行业表现、排行榜、渠道转化表现、平台或商家营销优惠引导表现等。

如果按时间周期纬度来划分的话，可以分为活动前数据、活动中数据、活动后数据；这也是电商大促必定使用到数据模块分法。活动前进行招商和用户宣导，以及活动造势，早早积累一波蓄水数据，运营出一波高购买高转化人群；活动中可以对整体活动的成交转化流量数据进行分析；活动后对全周期数据进行矫正，包括商品售后的退款、退换货等，以及对整体活动数据进行复盘分析。

交易和流量数据无疑是电商营销数据分析中最重要的部分，几乎所有电商的指标都是围绕这两个词展开的。首先从基础数据指标来看，交易和流量在各类目纬度下的聚合数据可以反映行业的表现；在渠道下数据可以反映引导转化的效果；在促中还可以加入营销玩法或者互动玩法，来增加大促的成交和购买者的粘性，尤其是对特定人群的购买唤起，可以起到非常重要的左右。

借助于大数据技术的电商营销分析产品，可以方便获取全方位的数据，如流量来源，行业细分，成交转化，人群运营，购买引导，这对于运营和决策都是至关重要的数据。PV、UV、GMV及其背后的神秘数据，如何影响和操作着电子商务运行？大数据技术如何赋能电商决策？我们一一道来。