电商离线数仓项目-用户行为数仓(活跃/新增/留存主题)

叁歲伎倆 2022-08-28 07:57 255阅读 0赞

### 用户行为数仓指标 ###

*  用户活跃主题
 *   *  日活
     *  周活
     *  月活
 *  用户新增主题
 *   *  日新增用户
 *  用户留存主题

电商离线数仓项目,分四层搭建,基本框架搭建好了之后,编写具体的需求.这些需求主要是在DWS层和ADS层两层进行搭建。

# 用户活跃主题 #

目标就是统计日活/周活和月活的每个设备明细。  
思路:首先要明确活跃的定义,在这里用户当日活跃记录为用户使用该设备登录过APP,那么也就是说启动表中只要有mid(设备唯一标识)字段,则记为1次的活跃。所以不管一台设备一天切换了多少个用户登录APP,都是只看设备的唯一标识这个字段mid,记录成一次活跃。  
所以可以写成如下:**通过从启动事件日志表里面对mid\_id字段进行groupby去重,最后count(\*)就完成了活跃数量的统计。**

## 日活 ##

hive (gmall)>
    drop table if exists dws_uv_detail_day;
    create  table dws_uv_detail_day( 
    `mid_id` string COMMENT '设备唯一标识',
    `user_id` string COMMENT '用户标识', 
    `version_code` string COMMENT '程序版本号', 
    `version_name` string COMMENT '程序版本名', 
    `lang` string COMMENT '系统语言', 
    `source` string COMMENT '渠道号', 
    `os` string COMMENT '安卓系统版本', 
    `area` string COMMENT '区域', 
    `model` string COMMENT '手机型号', 
    `brand` string COMMENT '手机品牌', 
    `sdk_version` string COMMENT 'sdkVersion', 
    `gmail` string COMMENT 'gmail', 
    `height_width` string COMMENT '屏幕宽高',
    `app_time` string COMMENT '客户端日志产生时的时间',
    `network` string COMMENT '网络模式',
    `lng` string COMMENT '经度',
    `lat` string COMMENT '纬度'
    ) COMMENT '活跃用户按天明细'
    PARTITIONED BY ( `dt` string)
    stored as  parquet
    location '/warehouse/gmall/dws/dws_uv_detail_day/';

以用户单日访问为key进行聚合，如果某个用户在一天中使用了两种操作系统、两个系统版本、多个地区，登录不同账号，只取其中之一

hive (gmall)>
    set hive.exec.dynamic.partition.mode=nonstrict;
    
    insert overwrite table dws_uv_detail_day  partition(dt)
    select  
        mid_id,
        collect_set(user_id)[0] user_id,
        collect_set(version_code)[0] version_code,
        collect_set(version_name)[0] version_name,
        collect_set(lang)[0]lang,
        collect_set(source)[0] source,
        collect_set(os)[0] os,
        collect_set(area)[0] area, 
        collect_set(model)[0] model,
        collect_set(brand)[0] brand,
        collect_set(sdk_version)[0] sdk_version,
        collect_set(gmail)[0] gmail,
        collect_set(height_width)[0] height_width,
        collect_set(app_time)[0]app_time,
        collect_set(network)[0] network,
        collect_set(lng)[0]lng,
        collect_set(lat)[0]lat,
        '2019-02-10'
    from dwd_start_log
    where dt='2019-02-10'  
    group by mid_id;

## 周活 ##

周活的定义是只要在当周之内有登录过APP的设备,记录为当周是活跃的。  
周活的计算是在日活的基础上进行计算的,创建周活跃表时,在公众字段的基础上添加两个字段:周一和周日,这里面的sql语句写法需要重点关注的是时间函数。

hive (gmall)>
    drop table if exists dws_uv_detail_wk;
    
    create table dws_uv_detail_wk( 
    `mid_id` string COMMENT '设备唯一标识',
    `user_id` string COMMENT '用户标识', 
    `version_code` string COMMENT '程序版本号', 
    `version_name` string COMMENT '程序版本名', 
    `lang` string COMMENT '系统语言', 
    `source` string COMMENT '渠道号', 
    `os` string COMMENT '安卓系统版本', 
    `area` string COMMENT '区域', 
    `model` string COMMENT '手机型号', 
    `brand` string COMMENT '手机品牌', 
    `sdk_version` string COMMENT 'sdkVersion', 
    `gmail` string COMMENT 'gmail', 
    `height_width` string COMMENT '屏幕宽高',
    `app_time` string COMMENT '客户端日志产生时的时间',
    `network` string COMMENT '网络模式',
    `lng` string COMMENT '经度',
    `lat` string COMMENT '纬度',
        `monday_date` string COMMENT '周一日期',
        `sunday_date` string COMMENT  '周日日期' 
    ) COMMENT '活跃用户按周明细'
    PARTITIONED BY (`wk_dt` string)
    stored as  parquet
    location '/warehouse/gmall/dws/dws_uv_detail_wk/';

hive (gmall)>
    set hive.exec.dynamic.partition.mode=nonstrict;
    
    insert  overwrite table dws_uv_detail_wk partition(wk_dt)
    select  
        mid_id,
        collect_set(user_id)[0] user_id,
        collect_set(version_code)[0] version_code,
        collect_set(version_name)[0] version_name,
        collect_set(lang)[0]lang,
        collect_set(source)[0] source,
        collect_set(os)[0] os,
        collect_set(area)[0] area, 
        collect_set(model)[0] model,
        collect_set(brand)[0] brand,
        collect_set(sdk_version)[0] sdk_version,
        collect_set(gmail)[0] gmail,
        collect_set(height_width)[0] height_width,
        collect_set(app_time)[0]app_time,
        collect_set(network)[0] network,
        collect_set(lng)[0]lng,
        collect_set(lat)[0]lat,
       date_add(next_day('2019-02-10','MO'),-7),
       date_add(next_day('2019-02-10','MO'),-1),
       concat(date_add( next_day('2019-02-10','MO'),-7), '_' , date_add(next_day('2019-02-10','MO'),-1) 
    )
    from dws_uv_detail_day 
    where dt>=date_add(next_day('2019-02-10','MO'),-7) and dt<=date_add(next_day('2019-02-10','MO'),-1) 
    group by mid_id;

## 月活 ##

月活的定义是只要设备在该月之内有登录过APP,记录成该设备当月是活跃的。  
月活的计算是通过设置日期的格式为’yyyy-MM’,取到当月的数值,进行统计。

hive (gmall)>
    drop table if exists dws_uv_detail_mn;
    
    create  external table dws_uv_detail_mn( 
    `mid_id` string COMMENT '设备唯一标识',
    `user_id` string COMMENT '用户标识', 
    `version_code` string COMMENT '程序版本号', 
    `version_name` string COMMENT '程序版本名', 
    `lang` string COMMENT '系统语言', 
    `source` string COMMENT '渠道号', 
    `os` string COMMENT '安卓系统版本', 
    `area` string COMMENT '区域', 
    `model` string COMMENT '手机型号', 
    `brand` string COMMENT '手机品牌', 
    `sdk_version` string COMMENT 'sdkVersion', 
    `gmail` string COMMENT 'gmail', 
    `height_width` string COMMENT '屏幕宽高',
    `app_time` string COMMENT '客户端日志产生时的时间',
    `network` string COMMENT '网络模式',
    `lng` string COMMENT '经度',
    `lat` string COMMENT '纬度'
    ) COMMENT '活跃用户按月明细'
    PARTITIONED BY (`mn` string)
    stored as  parquet
    location '/warehouse/gmall/dws/dws_uv_detail_mn/';

hive (gmall)>
    set hive.exec.dynamic.partition.mode=nonstrict;
    
    insert  overwrite table dws_uv_detail_mn  partition(mn)
    select  
        mid_id,
        collect_set(user_id)[0] user_id,
        collect_set(version_code)[0] version_code,
        collect_set(version_name)[0] version_name,
        collect_set(lang)[0]lang,
        collect_set(source)[0] source,
        collect_set(os)[0] os,
        collect_set(area)[0] area, 
        collect_set(model)[0] model,
        collect_set(brand)[0] brand,
        collect_set(sdk_version)[0] sdk_version,
        collect_set(gmail)[0] gmail,
        collect_set(height_width)[0] height_width,
        collect_set(app_time)[0]app_time,
        collect_set(network)[0] network,
        collect_set(lng)[0]lng,
        collect_set(lat)[0]lat,
    date_format('2019-02-10','yyyy-MM')
    from dws_uv_detail_day
    where date_format(dt,'yyyy-MM') = date_format('2019-02-10','yyyy-MM')   
    group by mid_id;

ADS层是具体需求层。我们上面计算出了日活/周活/月活之后,就要把这些指标写进到同一个表当中,做一个总的汇总,这个表就是放在ADS层里面。

hive (gmall)>
    drop table if exists ads_uv_count;
    create  external table ads_uv_count( 
        `dt` string COMMENT '统计日期',
        `day_count` bigint COMMENT '当日用户数量',
        `wk_count`  bigint COMMENT '当周用户数量',
        `mn_count`  bigint COMMENT '当月用户数量',
        `is_weekend` string COMMENT 'Y,N是否是周末,用于得到本周最终结果',
        `is_monthend` string COMMENT 'Y,N是否是月末,用于得到本月最终结果' 
    ) COMMENT '每日活跃用户数量'
    stored as parquet
    location '/warehouse/gmall/ads/ads_uv_count_day/';

ADS层插入数据:

hive (gmall)>
    insert  overwrite table ads_uv_count 
    select  
      '2019-02-10' dt,
       daycount.ct,
       wkcount.ct,
       mncount.ct,
       if(date_add(next_day('2019-02-10','MO'),-1)='2019-02-10','Y','N') ,
       if(last_day('2019-02-10')='2019-02-10','Y','N') 
    from 
    (
       select  
          '2019-02-10' dt,
           count(*) ct
       from dws_uv_detail_day
       where dt='2019-02-10'  
    )daycount   join 
    ( 
       select  
         '2019-02-10' dt,
         count (*) ct
       from dws_uv_detail_wk
       where wk_dt=concat(date_add(next_day('2019-02-10','MO'),-7),'_' ,date_add(next_day('2019-02-10','MO'),-1) )
    )  wkcount  on daycount.dt=wkcount.dt
    join 
    ( 
       select  
         '2019-02-10' dt,
         count (*) ct
       from dws_uv_detail_mn
       where mn=date_format('2019-02-10','yyyy-MM')  
    )mncount on daycount.dt=mncount.dt
    ;

# 用户新增主题 #

用户新增的定义如下:首次联网使用应用的用户。如果一个用户首次打开某app，那这个用户定义为新增用户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。  
思路:**一开始会创建一个表叫做每日新增设备表,这个表记录着总的新增设备,每天有新增的设备,那么这个设备的mid就会被添加进这个表里面 ,基于此表,用每日活跃用户表 left join 每日新增设备表，关联的条件是mid\_id相等。如果是每日新增的设备，则在每日新增设备表中为null。**

## 日新增用户 ##

hive (gmall)>
    drop table if exists  `dws_new_mid_day`;
    create  table  `dws_new_mid_day`
    (
    	`mid_id` string COMMENT '设备唯一标识',
    	`user_id` string COMMENT '用户标识', 
    	`version_code` string COMMENT '程序版本号', 
    	`version_name` string COMMENT '程序版本名', 
    	`lang` string COMMENT '系统语言', 
    	`source` string COMMENT '渠道号', 
    	`os` string COMMENT '安卓系统版本', 
    	`area` string COMMENT '区域', 
    	`model` string COMMENT '手机型号', 
    	`brand` string COMMENT '手机品牌', 
    	`sdk_version` string COMMENT 'sdkVersion', 
    	`gmail` string COMMENT 'gmail', 
    	`height_width` string COMMENT '屏幕宽高',
    	`app_time` string COMMENT '客户端日志产生时的时间',
    	`network` string COMMENT '网络模式',
    	`lng` string COMMENT '经度',
    	`lat` string COMMENT '纬度',
    	`create_date`  string  comment '创建时间' 
    )  COMMENT '每日新增设备信息'
    stored as  parquet
    location '/warehouse/gmall/dws/dws_new_mid_day/';

hive (gmall)>
    insert into table dws_new_mid_day  
    select  
        ud.mid_id,
        ud.user_id , 
        ud.version_code , 
        ud.version_name , 
        ud.lang , 
        ud.source, 
        ud.os, 
        ud.area, 
        ud.model, 
        ud.brand, 
        ud.sdk_version, 
        ud.gmail, 
        ud.height_width,
        ud.app_time,
        ud.network,
        ud.lng,
        ud.lat,
        '2019-02-10'
    from dws_uv_detail_day ud left join dws_new_mid_day nm on ud.mid_id=nm.mid_id
    where ud.dt='2019-02-10' and nm.mid_id is null;

ADS层的情况:

hive (gmall)>
    drop table if exists  `ads_new_mid_count`;
    create  table  `ads_new_mid_count`
    (
        `create_date`     string  comment '创建时间' ,
        `new_mid_count`   BIGINT comment '新增设备数量' 
    )  COMMENT '每日新增设备信息数量'
    row format delimited  fields terminated by '\t' 
    location '/warehouse/gmall/ads/ads_new_mid_count/';

hive (gmall)>
    insert into table ads_new_mid_count 
    select create_date , count(*)  from dws_new_mid_day
    where create_date='2019-02-10'
    group by create_date ;

# 用户留存主题 #

留存用户:某段时间内新增用户(活跃用户),经过一段时间后,又继续使用应用的用户被认为是留存用户。计算留存用户的计算公式为:  
**10日新增设备的留存率=10日的新增设备且11日活跃的设备/10日的新增设备**  
1)分母获取:  
(1)创建每日新增设备明细表  
(2)创建每日新增设备明细表获取,10日新增设备表  
2)分母获取:  
(1)10日新增设备表join11日活跃设备明细表=每日留存用户表  
(2)对每日留存用户表count就得到了10日新增设备在11日的留存用户

hive (gmall)>
    drop table if exists  `dws_user_retention_day`;
    create  table  `dws_user_retention_day` 
    (
        `mid_id` string COMMENT '设备唯一标识',
        `user_id` string COMMENT '用户标识', 
        `version_code` string COMMENT '程序版本号', 
        `version_name` string COMMENT '程序版本名', 
    	`lang` string COMMENT '系统语言', 
    	`source` string COMMENT '渠道号', 
    	`os` string COMMENT '安卓系统版本', 
    	`area` string COMMENT '区域', 
    	`model` string COMMENT '手机型号', 
    	`brand` string COMMENT '手机品牌', 
    	`sdk_version` string COMMENT 'sdkVersion', 
    	`gmail` string COMMENT 'gmail', 
    	`height_width` string COMMENT '屏幕宽高',
    	`app_time` string COMMENT '客户端日志产生时的时间',
    	`network` string COMMENT '网络模式',
    	`lng` string COMMENT '经度',
    	`lat` string COMMENT '纬度',
       `create_date`       string  comment '设备新增时间',
       `retention_day`     int comment '截止当前日期留存天数'
    )  COMMENT '每日用户留存情况'
    PARTITIONED BY ( `dt` string)
    stored as  parquet
    location '/warehouse/gmall/dws/dws_user_retention_day/'
    ;

每天计算前1,2,3天的新用户访问留存明细:

hive (gmall)>
    insert  overwrite table dws_user_retention_day  partition(dt="2019-02-11")
    select  
        nm.mid_id,
        nm.user_id , 
        nm.version_code , 
        nm.version_name , 
        nm.lang , 
        nm.source, 
        nm.os, 
        nm.area, 
        nm.model, 
        nm.brand, 
        nm.sdk_version, 
        nm.gmail, 
        nm.height_width,
        nm.app_time,
        nm.network,
        nm.lng,
        nm.lat,
        nm.create_date,
        1 retention_day 
    from  dws_uv_detail_day ud join dws_new_mid_day nm   on ud.mid_id =nm.mid_id 
    where ud.dt='2019-02-11' and nm.create_date=date_add('2019-02-11',-1)
    
    union all
    select  
        nm.mid_id,
        nm.user_id , 
        nm.version_code , 
        nm.version_name , 
        nm.lang , 
        nm.source, 
        nm.os, 
        nm.area, 
        nm.model, 
        nm.brand, 
        nm.sdk_version, 
        nm.gmail, 
        nm.height_width,
        nm.app_time,
        nm.network,
        nm.lng,
        nm.lat,
        nm.create_date,
        2 retention_day 
    from  dws_uv_detail_day ud join dws_new_mid_day nm   on ud.mid_id =nm.mid_id 
    where ud.dt='2019-02-11' and nm.create_date=date_add('2019-02-11',-2)
    
    union all
    select  
        nm.mid_id,
        nm.user_id , 
        nm.version_code , 
        nm.version_name , 
        nm.lang , 
        nm.source, 
        nm.os, 
        nm.area, 
        nm.model, 
        nm.brand, 
        nm.sdk_version, 
        nm.gmail, 
        nm.height_width,
        nm.app_time,
        nm.network,
        nm.lng,
        nm.lat,
        nm.create_date,
        3 retention_day 
    from  dws_uv_detail_day ud join dws_new_mid_day nm   on ud.mid_id =nm.mid_id 
    where ud.dt='2019-02-11' and nm.create_date=date_add('2019-02-11',-3);