大数据实战 --- 淘宝用户行为数据分析

柔情只为你懂 2024-03-23 02:38 138阅读 0赞

**目录**

开发环境

数据描述

功能需求

数据准备

数据清洗

用户行为分析

找出有价值的用户

--------------------

## 开发环境 ##

Hadoop+Hive+Spark+HBase

> **启动Hadoop**：start-all.sh
> 
> **启动zookeeper**：zkServer.sh start
> 
> **启动Hive**：
> 
> nohup hiveserver2 1>/dev/null 2>&1 &
> 
> beeline -u jdbc:hive2://192.168.152.192:10000
> 
> **启动Hbase**：
> 
> start-hbase.sh
> 
> hbase shell
> 
> **启动Spark**：spark-shell

## 数据描述 ##

数据描述 UserBehavior 是阿里巴巴提供的一个淘宝用户行为数据集。本数据集包含了 2017-09-11 至 2017-12-03 之间有行为的约 5458 位随机用户的所有行为（行为包括点击、购买、加 购、喜欢）。数据集的每一行表示一条用户行为，由用户 ID、商品 ID、商品类目 ID、 行为类型和时间戳组成，并以逗号分隔。关于数据集中每一列的详细描述如下具体字段 说明如下：  
![c562514d96bf4b08b5dca0e06eeaaea9.png][]

![3a0daa6e520245ab976318769651fc67.png][]

## 功能需求 ##

### 数据准备 ###

请在 HDFS 中创建目录/data/userbehavior，并将 UserBehavior.csv 文件传到该目录。通过 HDFS 命令查询出文档有多少行数据。

> hdfs dfs -mkdir -p /data/userbehavior
> 
> hdfs dfs -put ./UserBehavior.csv /data/userbehavior
> 
> hdfs dfs -cat /data/userbehavior/UserBehavior.csv | wc -l

### 数据清洗 ###

①请在 Hive 中创建数据库 exam

create database exam;

②请在 exam 数据库中创建外部表 userbehavior，并将 HDFS 数据映射到表中

create external table userbehavior
    (
        user_id int,
        item_id int,
        category_id int,
        behavior_type string,
        `time` bigint
    )
    row format delimited fields terminated by ',' stored as textfile location '/data/userbehavior/';

③请在 HBase 中创建命名空间 exam，并在命名空间 exam 创建 userbehavior 表，包含一个列簇 info

hbase(main):007:0> create_namespace 'exam' 
     
    hbase(main):008:0> create 'exam:userbehavior','info'

④请在 Hive 中创建外部表 userbehavior\_hbase，并映射到 HBase 中，并将数 据加载到 HBase 中

create external table if not exists userbehavior_hbase(
        user_id int,
        item_id int,
        category_id int,
        behavior_type string,
        time bigint
    )
    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    with serdeproperties ("hbase.columns.mapping"=":key,info:item_id,info:category_id,info:behavior_type,info:time")
    tblproperties ("hbase.table.name"="exam:userbehavior");
     
    //开始映射
    insert into userbehavior_hbase select * from userbehavior;

⑤请在 exam 数据库中创建内部分区表 userbehavior\_partitioned（按照日期进行分区）， 并通过查询 userbehavior 表将时间戳格式化为”年-月-日 时将数据插 入至 userbehavior\_partitioned 表中，例如下图

![63e52bba991d4c31888320a5463fb47d.png][]

//设置分区
    set hive.exec.dynamic.partition=true;
    set hive.exec.dynamic.partition.mode=nonstrict;
     
    //创建分区表
    create table userbehavoir_partitioned(
        user_id int,
        item_id int,
        category_id int,
        behavior_type string,
        time string
    )
    partitioned by (dt string)stored as orc ;
     
     
    //按格式插入分区表中
    insert into userbehavoir_partitioned partition (dt)
    select user_id,item_id,category_id,behavior_type,
           from_unixtime(time,"YYYY-MM-dd HH:mm:ss") as time,
           from_unixtime(time,"YYYY-MM-dd")as dt
    from userbehavior;
     
    show partitions userbehavoir_partitioned;
    select * from userbehavoir_partitioned;

### 用户行为分析 ###

请使用 Spark，加载 HDFS 文件系统 UserBehavior.csv 文件，并分别使用 RDD 完成以下 分析。 统计 uv 值（一共有多少用户访问淘宝）

scala> val fileRdd=sc.textFile("/data/userbehavior")
     
    //数据进行处理
    scala> val userbehaviorRdd=fileRdd.map(x=>x.split(",")).filter(x=>x.length==5)
     
    //统计不重复的个数
    scala> userbehaviorRdd.map(x=>x(0)).distinct.count
    res8: Long = 5458

分别统计浏览行为为点击，收藏，加入购物车，购买的总数量

scala> userbehaviorRdd.map(x=>(x(3),1)).reduceByKey(_+_).collect.foreach(println)
    (cart,30888)
    (buy,11508)
    (pv,503881)
    (fav,15017)

### 找出有价值的用户 ###

使用 SparkSQL 统计用户最近购买时间。以 2017-12-03 为当前日期，计算时间范围 为一个月，计算用户最近购买时间，时间的区间为 0-30 天，将其分为 5 档，0-6 天,7-12 4 天,13-18 天,19-24 天,25-30 天分别对应评分 4 到 0

使用 SparkSQL 统计用户的消费频率。以 2017-12-03 为当前日期，计算时间范围为 一个月，计算用户的消费次数，用户中消费次数从低到高为 1-161 次，将其分为 5 档，1-32，33-64，65-96，97-128，129-161 分别对应评分 0

[c562514d96bf4b08b5dca0e06eeaaea9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/9d87c3c638f34ba397a78e5ea1897676.png
[3a0daa6e520245ab976318769651fc67.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/cd6cb82e35ce47479715e1f4d4895e00.png
[63e52bba991d4c31888320a5463fb47d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/757e6f0a27524d8e9dc7ea0044d69a50.png