Hive的条件函数、聚合函数（UDAF）和制表函数（UDTF）

阳光穿透心脏的1/2处 2022-06-01 06:23 223阅读 0赞

一、条件函数

1. If 函数: if

语法: if(boolean testCondition, T valueTrue, TvalueFalseOrNull)

返回值: T

说明: 当条件 testCondition为 TRUE 时,返回 valueTrue;否则返回 valueFalseOrNull

举例:

hive> select if(1=2,100,200) from test;

200

hive> select if(1=1,100,200) from test;

100

2. 非空查找函数: COALESCE

语法: COALESCE(T v1, T v2, ...)

返回值: T

说明: 返回参数中的第一个非空值;如果所有值都为NULL,那么返回 NULL

举例:

hive> select COALESCE(null,'100','50′) from test;

100

3. 条件判断函数:CASE

语法: CASE a WHEN b THEN c \[WHEN d THEN e\]\* \[ELSE f\] END

返回值: T

说明:如果 a 等于b,那么返回 c;如果a 等于 d,那么返回e;否则返回 f

举例:

hive> Select case 100 when 50 then 'tom' when 100 then 'mary'else 'tim' end from

test;

mary

hive> Select case 200 when 50 then 'tom' when 100 then 'mary'else 'tim' end from

test;

tim

4. 条件判断函数:CASE

语法: CASE WHEN a THEN b \[WHEN c THEN d\]\* \[ELSE e\] END

返回值: T

说明:如果 a 为 TRUE,则返回 b;如果 c 为 TRUE,则返回 d;否则返回 e

举例:

hive> select case when 1=2 then 'tom' when 2=2 then 'mary'else 'tim' end from test;

mary

hive> select case when 1=1 then 'tom' when 2=2 then 'mary'else 'tim' end from test;

tom

二、UDAF

1. 个数统计函数: count

语法: count(\*), count(expr), count(DISTINCT expr\[,expr\_.\])

返回值: int

说明: count(\*)统计检索出的行的个数,包括 NULL 值的行;count(expr)返回指定字段的非空值的个数;count(DISTINCT expr\[, expr\_.\])返回指定字段的不同的非空值的个数

举例:

hive> select count(\*) from test;

hive> select count(distinct t) from test;

2. 总和统计函数: sum

语法: sum(col), sum(DISTINCT col)

返回值: double

说明: sum(col)统计结果集中 col 的相加的结果; sum(DISTINCTcol)统计结果中 col 不同值相加的结果

举例:

hive> select sum(t) from test;

100

hive> select sum(distinct t) from test;

3. 平均值统计函数: avg

语法: avg(col), avg(DISTINCT col)

返回值: double

说明: avg(col)统计结果集中 col 的平均值;avg(DISTINCTcol)统计结果中 col 不同值相加的平均值

举例:

hive> select avg(t) from test;

hive> select avg (distinct t) from test;

4. 最小值统计函数: min

语法: min(col)

返回值: double

说明: 统计结果集中 col 字段的最小值

举例:

hive> select min(t) from test;

5. 最大值统计函数: max

语法: maxcol)

返回值: double

说明: 统计结果集中 col 字段的最大值

举例:

hive> select max(t) from test;

120

6. 非空集合总体变量函数: var\_pop

语法: var\_pop(col)

返回值: double

说明: 统计结果集中 col 非空集合的总体变量(忽略 null)

举例:

7. 非空集合样本变量函数: var\_samp

语法: var\_samp (col)

返回值: double

说明: 统计结果集中 col 非空集合的样本变量(忽略 null)

举例:

8. 总体标准偏离函数: stddev\_pop

语法: stddev\_pop(col)

返回值: double

说明: 该函数计算总体标准偏离,并返回总体变量的平方根,其返回值与 VAR\_POP 函数的平方根相同

举例:

9. 样本标准偏离函数: stddev\_samp

语法: stddev\_samp (col)

返回值: double

说明: 该函数计算样本标准偏离

举例:

10.中位数函数: percentile

语法: percentile(BIGINT col, p)

返回值: double

说明: 求准确的第 pth 个百分位数,p 必须介于 0 和 1 之间,但是 col 字段目前只支持整数,不支持浮点数类型

举例:

11. 中位数函数: percentile

语法: percentile(BIGINT col, array(p1 \[, p2\]...))

返回值: array<double>

说明: 功能和上述类似,之后后面可以输入多个百分位数,返回类型也为array<double>,其中为对应的百分位数。

举例:

select percentile(score,<0.2,0.4>) from test; 取 0.2,0.4 位置的数据

12. 近似中位数函数: percentile\_approx

语法: percentile\_approx(DOUBLE col, p \[, B\])

返回值: double

说明: 求近似的第 pth 个百分位数,p 必须介于 0 和 1 之间,返回类型为 double,但是col 字段支持浮点类型。参数 B 控制内存消耗的近似精度,B 越大,结果的准确度越高。默认为 10,000。当 col 字段中的 distinct 值的个数小于 B 时,结果为准确的百分位数

举例:

13. 近似中位数函数: percentile\_approx

语法: percentile\_approx(DOUBLE col, array(p1 \[, p2\]...) \[,B\])

返回值: array<double>

说明: 功能和上述类似,之后后面可以输入多个百分位数,返回类型也为array<double>,其中为对应的百分位数。

举例:

14. 直方图: histogram\_numeric

语法: histogram\_numeric(col, b)

返回值: array<struct \{‘x’,’y’\}>

说明: 以 b 为基准计算 col 的直方图信息。

举例:

hive> select histogram\_numeric(100,5) from test;

\[\{"x":100.0,"y":1.0\}\]

15. 集合去重数:collect\_set

语法: collect\_set (col)

返回值: array

说明: 将 col 字段进行去重,合并成一个数组。

举例:

hive> select cookie,ip from test;

cookie1 127.0.0.1

cookie1 127.0.0.2

cookie1 127.0.0.3

hive> select cookie,collect\_set(ip) from test group bycookie;

cookie1\["127.0.0.1","127.0.0.2","127.0.0.3"\]

16. 集合不去重函数:collect\_list

语法: collect\_list (col)

返回值: array

说明: 将 col 字段合并成一个数组,不去重

举例:

hive> select cookie,ip from test;

cookie1 127.0.0.1

cookie1 127.0.0.2

cookie1 127.0.0.3

hive>select cookie,collect\_list(ip) from test group bycookie;

cookie1\["127.0.0.1","127.0.0.1","127.0.0.2","127.0.0.3"\]

三、UDTF

1. 数组拆分成多行:explode

语法: explode(ARRAY)

返回值: 多行

说明: 将数组中的元素拆分成多行显示

举例:

hive> select explode(array(1,2,3)) from test;

2. Map 拆分成多行:explode

语法: explode(Map)

返回值: 多行

说明: 将 Map 中的元素拆分成多行显示

举例:

hive> select explode(map('k1','v1','k2','v2')) fromtest;

Hive的条件函数、聚合函数（UDAF）和制表函数（UDTF）

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Hive 自定义函数 UDF UDTF UDAF

相关 UDF,UDAF,UDTF概念及常用函数

相关 HIVE自定义UDTF函数

相关 HIVE自定义UDAF函数

相关 hive 算子和用户自定义函数 UDF UDAF UDTF

相关 Hive的条件函数、聚合函数（UDAF）和制表函数（UDTF）

相关 hive内嵌UDAF函数: 聚合函数使用详解

相关 Hive - 自定义函数 UDF UDAF UDTF

相关 Hive 自定义 UDTF 函数

相关 hive中UDF、UDAF和UDTF使用