别再使用count distinct了

今天药忘吃喽~ 2022-10-06 12:54 261阅读 0赞

在数仓开发中经常会对数据去重后统计，而对于大数据量来说，count(distinct )操作明显非常的消耗资源且性能很慢。

下面介绍我平时使用最多的一种优化方式，供大家参考。

**原SQL**：

select 
      group_id,
      app_id,
      count(distinct case when dt>='${7d_before}' then user_id else null end) as 7d_uv, -- 7日内UV
      count(distinct case when dt>='${14d_before}' then user_id else null end) as 14d_uv --14日内UV
    from tbl
    where dt>='${14d_before}'
    group by 
      group_id,
      app_id
    ;

**优化后**：

先去重，再汇总。

select  group_id
            ,app_id
            ,sum(case when 7d_cnt>0 then 1 else 0 end) AS 7d_uv, -- 7日内UV
            ,sum(case when 14d_cnt>0 then 1 else 0 end) AS 14d_uv --14日内UV
    from    (
            select   
                group_id,
                app_id,
                user_id, --按user_id去重
                count(case when dt>='${7d_before}' then user_id else null end) as 7d_cnt, -- 7日内各用户的点击量
                count(case when dt>='${14d_before}' then user_id else null end) as 14d_cnt --14日内各用户的点击量
            from tbl
            where dt>='${14d_before}'
            group by 
                group_id,
                app_id,
                user_id
            ) a
    group by group_id,
             app_id
    ;

希望本文对你有帮助，请点个赞鼓励一下作者吧~ 谢谢！

发表评论取消回复

表情：

评论列表（有 0 条评论，261人围观）

还没有评论，来说两句吧...

相关阅读

相关 SQL查找是否存在，别再count了！

SQL查找是否"存在"，别再count了！根据某一条件从数据库表中查询『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要\\SELECT count(\)

旧城等待，/ 2024年04月07日 10:21/ 0 赞/ 79 阅读

相关别再用查询count，判断数据是否存在了

目录一、目前多数人的写法二、优化方案三、总结 ![01015e82774f4794bb104e2f34dd022f.png][] ---------------

╰半橙微兮°/ 2023年10月12日 21:29/ 0 赞/ 54 阅读

相关 SQL 查找是否“存在“，别再 COUNT 了，很耗费时间的

根据某一条件从数据库表中查询『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要SELECT COUNT(\) 呢？无论是刚入道的程序员新星，还是精湛沙场多年的

柔光的暖阳◎/ 2023年02月23日 12:27/ 0 赞/ 23 阅读

相关 SQL查找是否“存在“，别再count了，很耗费时间的

![format_png][] ja

桃扇骨/ 2023年02月19日 14:22/ 0 赞/ 29 阅读

相关 DISTINCT和COUNT的组合使用

最新项目中需要查询分组过滤并统计审批单子数量，需要用到DISTINCT和COUNT函数，特此记录如下： 1：单独使用DISTINCT过滤分组 SELECT DI

清疚/ 2022年11月05日 04:27/ 0 赞/ 205 阅读

相关别再使用count distinct了

在数仓开发中经常会对数据去重后统计，而对于大数据量来说，count(distinct )操作明显非常的消耗资源且性能很慢。下面介绍我平时使用最多的一种优化方式，供大家参考。

今天药忘吃喽~/ 2022年10月06日 12:54/ 0 赞/ 262 阅读

相关 SQL 查找是否"存在"，别再 count 了，很耗费时间的！

点击蓝色“java大数据修炼之道”关注我哟加个“星标”，每天下午21:00，一起学技术来源：toutiao.com/i6826511837840

小鱼儿/ 2022年10月06日 10:47/ 0 赞/ 184 阅读

相关 SQL 查找是否“存在“，别再 count 了

叙述根据某一条件从数据库表中查询『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要SELECT count(\) 呢？无论是刚入道的程序员新星，还是精湛沙

叁歲伎倆/ 2022年09月10日 04:30/ 0 赞/ 238 阅读

相关别再耍流氓了请别再用strcpy 而用strncpy

分享一下我老师大神的人工智能教程！零基础，通俗易懂！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangju

深碍√TFBOYSˉ_/ 2022年04月17日 00:05/ 0 赞/ 427 阅读

相关 Hive count(distinct ) 优化

1 group by c1,只是按照c1的值把数据分散到各个tm，c1的值的种类比较少，容易导致数据倾斜 2 group by c1,hash(c2)%5,按照2个字段的值把

深藏阁楼爱情的钟/ 2021年09月25日 08:14/ 0 赞/ 352 阅读