大数据实战 --- 日志文件

蔚落 2024-03-23 15:13 66阅读 0赞

**目录**

开发环境

数据描述

功能需求

数据准备

分析数据

HBase

HIive

统计查询

--------------------

## 开发环境 ##

Hadoop+[Hive][]\+Spark+HBase

> **启动Hadoop**：start-all.sh
> 
> **启动zookeeper**：zkServer.sh start
> 
> **启动Hive**：
> 
> nohup hiveserver2 1>/dev/null 2>&1 &
> 
> beeline -u jdbc:hive2://192.168.152.192:10000
> 
> **启动Hbase**：
> 
> start-hbase.sh
> 
> hbase shell
> 
> **启动Spark**：spark-shell

## 数据描述 ##

这是一份来自于某在线考试系统的学员答题批改日志，日志中记录了日志生成时间,题目 难度系数，题目所属的知识点 ID，做题的学生 ID，题目 ID 以及作答批改结果。日志的结构如下：

![92c3d0efdd8c44a3bee2aa437fbc715d.png][]

## 功能需求 ##

### 数据准备 ###

请在 HDFS 中创建目录/app/data/exam，并将 answer\_question.log 传到该目录。

> hdfs dfs -mkdir -p /app/data/exam
> 
> hdfs dfs -put ./nswer\_question.log /app/data/exam

### 分析数据 ###

在 Spark-Shell 中，加载 HDFS 文件系统 answer\_question.log 文件，并使用 RDD 完成 以下分析，也可使用 Spark 的其他方法完成数据分析。

①提取日志中的知识点 ID，学生 ID，题目 ID，作答结果 4 个字段的值

val aq=sc.textFile("/app/data/exam/nswer_question.log")
    //方法一
    aq.map(x=>{val ar=x.split("_");(ar(1),ar(2),ar(3).split('r')(0),ar(3)
    .split("\\s")(1).split(",")(0))})
    .foreach(println)
    //方法二
    aq.map(x=>x.split("\\s+")).map(x=>(x(8).split("_"),x(9)))
    .map(x=>(x._1(1),x._1(2),x._1(3).dropRight(1),x._2.split(",")(0)))
    .foreach(println)

②将提取后的知识点 ID，学生 ID，题目 ID，作答结果字段的值以文件的形式保存到 HDFS的/app/data/result 目录下。一行保留一条数据，字段间以“\\t”分割。（提示：元组可使用 tuple.productIterator.mkString("\\t")组合字符串文件格式）如下所示。

![3bb590754f604e24a3bf58849a687155.png][]

aq.map(x=>x.split("\\s+")).map(x=>(x(8).split("_"),x(9)))
    .map(x=>(x._1(1),x._1(2),x._1(3).dropRight(1),x._2.split(",")(0))
    .productIterator.mkString("\t")).saveAsTextFile("/app/data/result")

### HBase ###

在 HBase 中创建命名空间（namespace）exam，在该命名空间下创建 analysis 表，使用 学生 ID 作为 RowKey，该表下有 2 个列族 accuracy、question。accuracy 列族用于保存 学 员 答 题 正 确 率 统 计 数 据 （ 总 分 accuracy:total\_score ， 答 题 的 试 题 数 accuracy:question\_count，正确率 accuracy:accuracy）；question 列族用于分类保存学 员正确，错 误和半对的题目 id （正确 question:right，错误 question:error，半对question:half）

hbase(main):001:0> create 'exam:analysis','accuracy','question'

### HIive ###

请在 Hive 中创建数据库 exam，在该数据库中创建外部表 ex\_exam\_record 指向 /app/data/result 下 Spark 处理后的日志数据 ;创建外部表 ex\_exam\_anlysis 映射至 HBase中的 analysis 表的 accuracy 列族;创建外部表 ex\_exam\_question 映射至 HBase 中的analysis 表的 question 列族

![130882ac11024c9680a0806ed0adf15e.png][]

**ex\_exam\_anlysis** **表结构如下：**

![63925a8c876642fe86d79d95373d105c.png][]

ex\_exam\_record 表

create external table ex_exam_record
    (
        topic_id    string,
        student_id  string,
        question_id string,
        score       float
    )
        row format delimited fields terminated by "\t"
        stored as textfile location "/app/data/result";

ex\_exam\_anlysis 表

create external table ex_exam_anlysis
    (
        student_id     string,
        total_score    float,
        question_count int,
        accuracy       float
    ) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
        with serdeproperties ("hbase.columns.mapping" =
                ":key,accuracy:total_score,accuracy:question_count,accuracy:accuracy")
        tblproperties ("hbase.table.name" = "exam:analysis");

ex\_exam\_question 表

create external table ex_exam_question
    (
        student_id string,
        `right`    string,
        half       string,
        error      float
    ) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
        with serdeproperties ("hbase.columns.mapping" =
                ":key,question:`right` ,question:half,question:error")
        tblproperties ("hbase.table.name" = "exam:analysis");

### 统计查询 ###

使用 ex\_exam\_record 表中的数据统计每个学员总分、答题的试题数和正确率，并保存 到 ex\_exam\_anlysis 表中，其中正确率的计算方法如下： 正确率=总分/答题的试题数

insert into ex_exam_anlysis
    select student_id,
           sum(score) total_score ,
           count(question_id) question_count,
    --        sum(score)/count(question_id) accuracy,
    --        round(sum(score) / count(question_id), 2) as accuracy，
           cast((sum(score)/count(question_id)) as decimal(5,2)) as accuracy2
    from ex_exam_record group by student_id;

使用 ex\_exam\_record 表中的数据统计每个作对，做错，半对的题目列表。

①题目 id 以逗号分割，并保存到 ex\_exam\_question 表中。

方法一：

insert into ex_exam_question
    select t1.student_id, t1.`right`, t3.half, t2.error
    from (
          (select student_id, concat_ws(",", collect_set(question_id)) as `right`
           from ex_exam_record1
           where score = 1
           group by student_id) as t1
             left join
         (select student_id, concat_ws(",", collect_set(question_id)) as error
          from ex_exam_record1
          where score = 0
          group by student_id) as t2 on t1.student_id = t2.student_id
             left join
         (select student_id, concat_ws(",", collect_set(question_id)) as half
          from ex_exam_record1
          where score = 0.5
          group by student_id) t3 on t1.student_id = t2.student_id);

方法二：

with `right` as (select student_id, concat_ws(",", collect_set(question_id)) as `right`
                     from ex_exam_record1
                     where score = 1
                     group by student_id),
         halt as (select student_id, concat_ws(",", collect_set(question_id)) as half
                  from ex_exam_record1
                  where score = 0.5
                  group by student_id),
         error as (select student_id, concat_ws(",", collect_set(question_id)) as error
                   from ex_exam_record1
                   where score = 0
                   group by student_id)
    insert
    into ex_exam_question
    select `right`.student_id, `right`, half, error
    from `right`
             left join halt on `right`.student_id = halt.student_id
             left join error on `right`.student_id = error.student_id

②完成统计后，在 HBase Shell 中遍历 exam:analysis 表并只显示 question 列族中的数据，

如下图所示![9864a0b1ad2c4e9fa00ef80b727807c5.png][]

hbase(main):014:0> scan 'exam:analysis',{COLUMNS=>'question'}

[Hive]: https://so.csdn.net/so/search?q=Hive&spm=1001.2101.3001.7020
[92c3d0efdd8c44a3bee2aa437fbc715d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/ddcd5c2a1fe34c4296964f4c439bd29f.png
[3bb590754f604e24a3bf58849a687155.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/41bcb9f4dd6342448a5203481463b652.png
[130882ac11024c9680a0806ed0adf15e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/dcf61a9fc24741c4bfee1d44b9f853e1.png
[63925a8c876642fe86d79d95373d105c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/0b9f7529ec2b4e668f2fa96e2e3ee8c9.png
[9864a0b1ad2c4e9fa00ef80b727807c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/ad49dba513d84776a3a68a3dad0b466c.png