大数据Hive系列之Hive MapReduce

谁践踏了优雅 2022-05-13 07:40 269阅读 0赞

## 1.  JOIN ##

**1.1  join操作**

INSERT OVERWRITE TABLE pv_users 
    SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

**1.2  MR过程**

*  Map

> a.  以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合。  
> b.  以 JOIN 之后所关心的列作为 Value，当有多个列时，Value 是这些列的组合。  
>      在 Value 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪个表。   
> c.  按照 Key 进行排序。

*  Shuffle

> 根据 Key 的值进行 Hash，并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中。

*  Reduce

> Reduce根据 Key 值进行 Join 操作，并且通过 Tag 来识别不同的表中的数据。

**1.3  MR过程图**

![70][]

--------------------

## 2.  GROUP BY ##

**2.1  group by操作**

SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;

**2.2  MR过程图**

![70 1][]

--------------------

## 3.  DISTINCT ##

**3.1  distinct操作**

SELECT age, count(distinct pageid) FROM pv_users GROUP BY age;

**3.2  MR过程图**

![70 2][]

[70]: /images/20220513/c8a4b2e0157e4e489b75ea4a85b0cf18.png
[70 1]: /images/20220513/e6d261fba3a54967ac4bfab633b87224.png
[70 2]: /images/20220513/c993a61d5dd245308ae42fb4ae39ed1b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，269人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据Hive系列之Hive数据仓库部署

一、部署准备 Hive依赖于Hadoop分布式集群，Hadoop分布式集群部署参考文章：[Apache Hadoop 分布式集群部署][Apache Hadoop]

柔光的暖阳◎/ 2022年05月23日 08:00/ 0 赞/ 339 阅读

相关大数据系列hive——配置mysql

目录一、简介二、mysql驱动三、配置四、初始化数据库 -------------------- 一、简介 hive默认的元数据信息是存

今天药忘吃喽~/ 2022年05月17日 12:18/ 0 赞/ 224 阅读

相关大数据系列hive——安装

目录一、简介二、安装三、配置环境变量配置 hdfs初始化 xml配置初始化数据库 ---------------

清疚/ 2022年05月17日 09:09/ 0 赞/ 261 阅读

相关大数据Hive系列之Hive用户权限管理

1. 角色创建角色 create role role_name; 显示角色 show roles; 删

ゝ一世哀愁。/ 2022年05月16日 13:51/ 0 赞/ 1136 阅读

相关大数据系列hive——jdbc

目录一、简介二、HiveServer2 配置启动三、Beeline 四、错误处理五、代码 -------------------- 一、简介

爱被打了一巴掌/ 2022年05月16日 03:17/ 0 赞/ 251 阅读

相关大数据Hive系列之Hive API

Maven依赖配置 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.

忘是亡心i/ 2022年05月15日 02:20/ 0 赞/ 434 阅读

相关大数据Hive系列之Hive常用SQL

1. hive导出数据到hdfs 语法：export table 表名 to '输出路径'; 例子：export table cloud.cus

喜欢ヅ旅行/ 2022年05月15日 00:38/ 0 赞/ 294 阅读

相关大数据Hive系列之Hive MapReduce

1. JOIN 1.1 join操作 INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.ag

谁践踏了优雅/ 2022年05月13日 07:40/ 0 赞/ 270 阅读

相关大数据Hive系列之Hive性能优化（全面）

一、介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ > 1. 数据量大不是问题，数据倾斜是个问题。 > 2. jobs数比较多的作业运

末蓝、/ 2022年04月18日 02:29/ 0 赞/ 454 阅读

相关大数据Hive系列之Hive用户权限管理

1. 角色创建角色 create role role_name; 显示角色 show roles; 删除角色 drop

柔情只为你懂/ 2021年09月20日 14:12/ 0 赞/ 675 阅读