Hive(十七)--排序

你的名字 2022-06-09 05:20 198阅读 0赞

# **order by** #

order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）  
只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

set [Hive][].mapred.mode=nonstrict; (default value / 默认值)

set [hive][Hive].mapred.mode=strict;

order by 和[数据库][Link 1]中的Order by 功能一致，按照某一项 & 几项 排序输出。

与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下 必须指定 limit 否则执行会报错。

hive> select \* from test order by id;

FAILED: Error in semantic analysis: 1:28 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id'

原因： 在order by 状态下所有数据会到一台服务器进行reduce操作也即只有一个reduce，如果在数据量大的情况下会出现无法输出结果的情况，如果进行 limit n ，那只有 n \* map number 条记录而已。只有一个reduce也可以处理过来。

# **sort by** #

sort by不是全局排序，其在数据进入reducer前完成排序.

因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1， 则sort by只保证每个reducer的输出有序，不保证全局有序。

sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响

sort by 的数据只能保证在同一reduce中的数据可以按指定字段排序。

使用sort by 你可以指定执行的reduce 个数 （set mapred.reduce.tasks=<number>）,对输出的数据再执行归并排序，即可以得到全部结果。

注意：可以用limit子句大大减少数据量。使用limit n后，传输到reduce端（单机）的数据记录数就减少到n\* （map个数）。否则由于数据过大可能出不了结果。

# **distribute by** #

按照指定的字段对数据进行划分到不同的输出reduce / 文件中。

insert overwrite local directory '/home/[Hadoop][]/out' select \* from test order by name distribute by length(name);

此方法会根据name的长度划分到不同的reduce中，最终输出到不同的文件中。

length 是内建函数，也可以指定其他的函数或这使用自定义函数。

# **Cluster By** #

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。

但是排序只能是倒序排序，不能指定排序规则为asc 或者desc。

[Hive]: http://lib.csdn.net/base/hive
[Link 1]: http://lib.csdn.net/base/mysql
[Hadoop]: http://lib.csdn.net/base/hadoop

发表评论取消回复

表情：

评论列表（有 0 条评论，198人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据入门核心技术-Hive】（十七）常用hive shell命令汇总

一、hive shell 1、set <key>=<value> eg: set mapred.reduce.tasks=32; 2、set -v 打印所

素颜马尾好姑娘i/ 2024年02月22日 07:10/ 0 赞/ 76 阅读

相关 [每日一道小算法（七十七）] [排序算法] 堆排序

前言：今天复习了一下排序算法，堆排序写的不太熟练，所以在这里记录一下，方便以后的学习。题目描述就是实现堆排序。解题思路基本思路：将待排序序列构造成

末蓝、/ 2023年07月11日 06:28/ 0 赞/ 48 阅读

相关 Hive学习（七）查询

LIKE和RLIKE 1. LIKE：%，\_ 2. RLIKE：支持Java的正则表达式；例，查找部门号中含有2的部门：`select from dept_part

冷不防/ 2023年06月27日 11:28/ 0 赞/ 120 阅读

相关 hive 排序

1、全局排序（order by） `Order by：全局排序，只有一个reducer` ASC（ascend）：升序（默认） DESC（descend）：降序

朱雀/ 2023年06月12日 06:18/ 0 赞/ 30 阅读

相关 Hive-排序

排序 dense\_rank() over 成绩相同的两个人编号也相同, 且下一个编号是连续的, 不会跨越 ![rank() over][rank

曾经终败给现在/ 2023年06月03日 06:59/ 0 赞/ 28 阅读

相关 Hadoop(七)——子项目Hive

前边我们介绍了Hadoop项目的两大基础支柱HDFS和MapReduce，随后又介绍了子项目Pig：一种用类似于SQL的、面向数据流的语言对HDFS下的数据进行处理的M

末蓝、/ 2022年08月09日 09:55/ 0 赞/ 172 阅读

相关 HIVE 排序总结

HIVE 排序总结 ORDER BY Hive中的order by语句用于对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过特格reducer进行处理

末蓝、/ 2022年06月10日 14:36/ 0 赞/ 285 阅读

相关 Hive(十八)--全局排序

不分发数据，使用单个reducer ![复制代码][copycode.gif] set mapred.reduce.tasks=1; select

素颜马尾好姑娘i/ 2022年06月09日 05:21/ 0 赞/ 234 阅读

相关 Hive(十七)--排序

order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大

你的名字/ 2022年06月09日 05:20/ 0 赞/ 199 阅读

相关 Hadoop(七)Hive基础

Hive是基于Hadoop的数据仓库工具，提供了在Hadoop分布式存储上对大数据集使用SQL进行查询、修改、管理数据的功能。 Hive提供标准SQL功能，包括SQL：200

╰半夏微凉°/ 2021年11月18日 00:04/ 0 赞/ 359 阅读