Hive常用系统函数-聚合函数

爱被打了一巴掌 2023-06-22 10:28 3阅读 0赞

关于Hive常用的聚合函数  
Hive的聚合函数，大多可以group by 组合使用

<table> 
 <thead> 
 <tr> 
 <th>函数</th> 
 <th>参数格式</th> 
 <th>解释</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>count</td> 
 <td>count(*), count(expr)，count(distinct expr)</td> 
 <td>返回查找的总行数，count(*)返回的行数包括null值；count(expr)和count(distinct expr) 不包括null值</td> 
 </tr> 
 <tr> 
 <td>sum</td> 
 <td>sum(col), sum(DISTINCT col)</td> 
 <td>sum(col)返回组内查询列元素的总和，sum(DISTINCT col)返回组内查询列列的不同值的总和</td> 
 </tr> 
 <tr> 
 <td>avg</td> 
 <td>avg(col), avg(DISTINCT col)</td> 
 <td>sum(col)返回组内查询列元素的平均值，sum(DISTINCT col)返回组内查询列的不同值的平均值</td> 
 </tr> 
 <tr> 
 <td>min</td> 
 <td>min(col)</td> 
 <td>返回组内查询列的最小值</td> 
 </tr> 
 <tr> 
 <td>max</td> 
 <td>max(col)</td> 
 <td>返回组内查询列的最大值</td> 
 </tr> 
 <tr> 
 <td>variance</td> 
 <td>variance(col)</td> 
 <td>返回组内查询列的方差（也可称为总体方差），也可写成var_pop(col)</td> 
 </tr> 
 <tr> 
 <td>var_samp</td> 
 <td>var_samp(col)</td> 
 <td>返回组内查询列方差的无偏估计（方差无偏估计中，因为估计期望损失了一个自由度，估计的分母为n-1，也可称为样本方差）</td> 
 </tr> 
 <tr> 
 <td>stddev_pop</td> 
 <td>stddev_pop(col)</td> 
 <td>返回组内查询列的标准差</td> 
 </tr> 
 <tr> 
 <td>stddev_samp</td> 
 <td>stddev_samp(col)</td> 
 <td>返回组内查询列标准差的无偏估计方差（无偏估计中，因为估计期望损失了一个自由度，估计的分母为n-1）</td> 
 </tr> 
 <tr> 
 <td>covar_pop</td> 
 <td>covar_pop(col1, col2)</td> 
 <td>返回组内查询列col1和col2的总体协方差</td> 
 </tr> 
 <tr> 
 <td>covar_samp</td> 
 <td>covar_samp(col1, col2)</td> 
 <td>返回组内查询列col1和col2的样本协方差</td> 
 </tr> 
 <tr> 
 <td>corr</td> 
 <td>corr(col1, col2)</td> 
 <td>返回组内查询列col1和col2的相关系数</td> 
 </tr> 
 <tr> 
 <td>percentile</td> 
 <td>percentile(BIGINT col, p)</td> 
 <td>返回组内查询整数列col所在的分位数，p可以为浮点数或数组，且其中元素大小必须在0-1之间。若col不是整数，需使用percentile_approx</td> 
 </tr> 
 <tr> 
 <td>percentile_approx</td> 
 <td>percentile_approx(DOUBLE col, array(p1[, p2]…) [, B])</td> 
 <td>返回组内查询列col所在的分位数，p可以为浮点数或数组，且其中元素大小必须在0-1之间。B为可选参数，为精度控制参数</td> 
 </tr> 
 <tr> 
 <td>regr_avgx</td> 
 <td>regr_avgx(independent, dependent)</td> 
 <td>计算自变量的平均值。该函数将任意一对数字类型作为参数，并返回一个double。任何具有null的对都将被忽略。如果应用于空集：返回null。否则，它计算以下内容：avg(dependent)</td> 
 </tr> 
 <tr> 
 <td>regr_avgy</td> 
 <td>regr_avgy(independent, dependent)</td> 
 <td>计算因变量的平均值。该函数将任意一对数字类型作为参数，并返回一个double。任何具有null的对都将被忽略。如果应用于空集：返回null。否则，它计算以下内容：avg(independent)</td> 
 </tr> 
 <tr> 
 <td>regr_count</td> 
 <td>regr_count(independent, dependent)</td> 
 <td>返回independent和dependent都非空的对数</td> 
 </tr> 
 <tr> 
 <td>regr_intercept</td> 
 <td>regr_intercept(independent, dependent)</td> 
 <td>返回线性回归的截距项</td> 
 </tr> 
 <tr> 
 <td>regr_r2</td> 
 <td>regr_r2(independent, dependent)</td> 
 <td>返回线性回归的判决系数（R方，coefficient of determination）</td> 
 </tr> 
 <tr> 
 <td>regr_slope</td> 
 <td>regr_slope(independent, dependent)</td> 
 <td>返回线性回归的斜率系数</td> 
 </tr> 
 <tr> 
 <td>regr_sxx</td> 
 <td>regr_sxx(independent, dependent)</td> 
 <td>用如下公式计算： ∑ i = 1 n x i x i − ∑ i = 1 n x i ∗ ∑ i = 1 n x i n \frac{\sum_{i=1}^nx_ix_i-\sum_{i=1}^nx_i\ast\sum_{i=1}^nx_i}n n∑i=1nxixi−∑i=1nxi∗∑i=1nxi，并返回结果。等价于regr_count(independent, dependent) * var_pop(dependent)</td> 
 </tr> 
 <tr> 
 <td>regr_sxy</td> 
 <td>regr_sxy(independent, dependent)</td> 
 <td>用如下公式计算： ∑ i = 1 n y i x i − ∑ i = 1 n y i ∗ ∑ i = 1 n x i n \frac{\sum_{i=1}^ny_ix_i-\sum_{i=1}^ny_i\ast\sum_{i=1}^nx_i}n n∑i=1nyixi−∑i=1nyi∗∑i=1nxi，并返回结果。等价于regr_count(independent, dependent) * covar_pop(independent, dependent)</td> 
 </tr> 
 <tr> 
 <td>regr_syy</td> 
 <td>regr_syy(independent, dependent)</td> 
 <td>用如下公式计算： ∑ i = 1 n y i y i − ∑ i = 1 n y i ∗ ∑ i = 1 n y i n \frac{\sum_{i=1}^ny_iy_i-\sum_{i=1}^ny_i\ast\sum_{i=1}^ny_i}n n∑i=1nyiyi−∑i=1nyi∗∑i=1nyi，并返回结果。等价于 regr_count(independent, dependent) * var_pop(independent)</td> 
 </tr> 
 <tr> 
 <td>histogram_numeric</td> 
 <td>histogram_numeric(col, b)</td> 
 <td>用于画直方图。返回一个长度为b的数组，数组中元素为(x,y)形式的键值对，x代表了直方图中该柱形的中心，y代表可其高度。</td> 
 </tr> 
 <tr> 
 <td>collect_set</td> 
 <td>collect_set(col)</td> 
 <td>返回查询列col去重后的集合，与distinct不同，distinct查询结果为一列数据，collect_set查询后结果为一个集合形式的元素</td> 
 </tr> 
 <tr> 
 <td>collect_list</td> 
 <td>collect_list(col)</td> 
 <td>返回查询列col的列表</td> 
 </tr> 
 <tr> 
 <td>ntile</td> 
 <td>ntile(INTEGER x)</td> 
 <td>将有序分区划分为x个称为存储桶的组，并为该分区中的每一行分配存储桶编号。 （此方式存储可以快速计算分位数）</td> 
 </tr> 
 </tbody> 
</table>