Hive如何实现join操作

忘是亡心i 2022-01-30 03:11 291阅读 0赞

# Hive如何实现join操作 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70]  
这两张表都有一个相同的字段userid，根据这个字段可以将两张表连接起来，pv\_users表，  
![在这里插入图片描述][20190517193814772.png]  
SQL命令是

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

同样，这个SQL命令也可以转化为MapReduce计算，连接的过程如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70 1]  
从图上看，join的MapReduce计算过程group by稍有不同，因为join涉及两张表，来自两个文件（夹），所以需要在map输出的时候进行标记，比如来自第一张表的输出Value就记录为<1, X>，这里的1表示数据来自第一张表。这样经过shuffle以后，相同的Key被输入到同一个reduce函数，就可以根据表的标记对Value数据求笛卡尔积，用第一张表的每条记录和第二张表的每条记录连接，输出就是join的结果。

所以我们如果打开Hive的源代码，看join相关的代码，会看到一个两层for循环，对来自两张表的记录进行连接操作。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70]: /images/20220130/0029c87e69294e61bcee4b3e7cd5262b.png
[20190517193814772.png]: /images/20220130/c62bcbcdb00f4a2bb4f6dbb5705b45de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70 1]: /images/20220130/af2127c806504eefbb29ab45c1307673.png

发表评论取消回复

表情：

评论列表（有 0 条评论，291人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive HQL & JOIN & explode

HQL语法 HQL, Hibernate Query Language的缩写，提供更加丰富灵活、更为强大的查询能力；HQL更接近SQL语句查询语法。 1. 查询语...

- 日理万妓/ 2024年04月18日 16:52/ 0 赞/ 99 阅读

相关 Hadoop Hive创建外部表及多表join操作

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

拼搏现实的明天。/ 2023年10月07日 10:49/ 0 赞/ 44 阅读

相关 Hive优化--join

在hive中最长用到的就是对表之间的操作，在做join操作时，将小表放在左边，大表放在右边可提升集群的性能。原理很简单，hive对于join操作是：在做完map之后将左边的表的

灰太狼/ 2023年01月21日 15:16/ 0 赞/ 25 阅读

相关 hive的join操作

Syntax join_table: table_reference JOIN table_factor [join_condition] | table_refer

小咪咪/ 2022年08月20日 03:27/ 0 赞/ 247 阅读

相关 HIVE中join、semi join、outer join举例详解

举例子： hive> select \ from zz0; 111111 222222 888888 hive> select \ from zz1

古城微笑少年丶/ 2022年08月08日 11:57/ 0 赞/ 234 阅读

相关 Hive JOIN使用详解

Hive是基于Hadoop平台的，它提供了类似SQL一样的查询语言HQL。有了Hive，如果使用过SQL语言，并且不理解Hadoop MapReduce运行原理，也就无法通过编

谁借莪１个温暖的怀抱￠/ 2022年08月05日 01:30/ 0 赞/ 237 阅读

相关 Hive如何实现join操作

Hive如何实现join操作 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM

忘是亡心i/ 2022年01月30日 03:11/ 0 赞/ 292 阅读

相关 MySQl 如何实现 FULL JOIN？

MySQl 不支持FULL JOIN ，那我们如何在MySQl 实现FULL 功能呢？通过UNION 来实现 FULL JOIN： SE

红太狼/ 2022年01月20日 00:51/ 0 赞/ 524 阅读

相关 hive join explain

![SouthEast][] 数据： ![SouthEast 1][] 1,join 2，left outer join select \ from tb

女爷i/ 2022年01月07日 01:55/ 0 赞/ 283 阅读

相关 hive 常用的 join 操作实例

test\_a 表 <table> <thead> <tr> <th>id</th> <th>value</th> </tr> </t

淩亂°似流年/ 2021年12月24日 11:13/ 0 赞/ 288 阅读