Hive全量表和增量表互相转换

女爷i 2021-09-21 12:56 1004阅读 0赞

一、增量表变全量表

昨天和前天的full join  t1---昨天   t2--前天

INSERT OVERWRITE TABLE table_df PARTITION(ds = '${bizdate}')
    select 
    IF(t1.id IS NULL, t2.id, t1.id) AS id,
    IF(t1.name IS NULL, t2.name, t1.name) AS id
    from (select id,name from s_table where ds='${bizdate}') t1
    FULL OUTER JOIN
    (select id,name from table_di where ds = '${yyyymmdd-1}') t2
    on t1.id=t2.id;

二。全量表改增量表

昨天和前天的数据之差

@day_2_table := 
        select 
            md5(concat(
                coalesce(name,0),
                coalesce(age,0)
            )) as compare
            ,row_pk 
        from table_df n
        where ds='${yyyymmdd-1}'
    ;
    @day_1_table :=
    select 
            md5(concat(
                coalesce(name,0),
                coalesce(age,0)
            )) as compare
            ,row_pk 
        from table_df n
        where ds='${bizdate}'
    ;
    
    INSERT OVERWRITE TABLE table_di PARTITION(ds = '${bizdate}')
    select row_pk,
           name,
           age
    from table_df
    where ds='${bizdate}'
    and row_pk in 
    (
        select t1.row_pk
        from 
        @day_1_table t1
        left outer join
        @day_2_table t2
        on t1.row_pk=t2.row_pk
        where t2.row_pk is null or t1.compare<>t2.compare
    )
    ;

发表评论取消回复

表情：

评论列表（有 0 条评论，1004人围观）

还没有评论，来说两句吧...

相关阅读

相关 ETL - 全量与增量

之前的ETL介绍中我们介绍了数据抽取，包括了全量数据抽取和增量数据抽取。今天给大家做一下**增量**和**全量**的差异介绍。全量增量用于数据采集的**差异...

冷不防/ 2024年04月18日 19:23/ 0 赞/ 82 阅读

相关 MySQL全量同步和增量同步-

me:为啥你们队答辩时说的话, 我听了没啥感觉, 评委听了直接就深有感触了? 资深:生产不可能只同步一张表和10W数据, 其他队伍用jdbc的方法同步全量数据, 在真实环境决

秒速五厘米/ 2024年03月26日 20:29/ 0 赞/ 96 阅读

相关 mysql全量和增量备份脚本

全量： <table style="padding:0px; margin:0px auto 10px; font-size:12px; border-collapse:co

╰+哭是因爲堅強的太久メ/ 2023年10月17日 15:27/ 0 赞/ 174 阅读

相关大数据-数据仓库：快照表、拉链表，全量表，增量表

一、拉链表数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 表中的部分字段会被update，例如：用户的地址，产品的描述信息，品

小鱼儿/ 2023年10月05日 19:22/ 0 赞/ 70 阅读

相关 Hive 数据库设计中的拉链表、增量表、全量表

hive 数据库设计中的拉链表、增量表、全量表\_侯风飞的博客 - CSDN 博客\_增量表 1) 存量、流量、增量（1）存量：系统在某一时点时的所保有

╰+攻爆jí腚メ/ 2023年02月25日 15:22/ 0 赞/ 25 阅读

相关 DataX | MySQL多表全量同步和多表定时增量同步

简介 > 本文主要讲解DataX的全量和增量同步实现方式，有具体代码可参考。增量同步时，将日志按天写入日志文件中增量同步和全量同步是数据库同步的两种方式。全量同步

我不是女神ヾ/ 2022年12月18日 04:59/ 0 赞/ 1684 阅读

相关 Mysql 增量备份和全量备份

在日常运维工作中，对mysql数据库的备份是万分重要的，以防在数据库表丢失或损坏情况出现，可以及时恢复数据。线上数据库备份场景：每周日执行一次全量备份

我会带着你远行/ 2022年07月11日 05:37/ 0 赞/ 270 阅读

相关 hive数据库设计中的拉链表、增量表、全量表

1) 存量、流量、增量（1）存量：系统在某一时点时的所保有的数量；（2）流量：是指在某一段时间内流入/出系统的数量（3）增量：则是指在某一段时间内系

超、凢脫俗/ 2022年05月29日 07:29/ 0 赞/ 298 阅读

相关 Hive全量表和增量表互相转换

一、增量表变全量表昨天和前天的full join t1---昨天 t2--前天 INSERT OVERWRITE TABLE table_df PARTIT

女爷i/ 2021年09月21日 12:56/ 0 赞/ 1005 阅读

相关 Hive 全量表、增量表、拉链表解析

1.全量表（1）全量表，有无变化，都要报（2）每次上报的数据都是所有的数据（变化的 + 没有变化的) (3) 每天抽取第一次: <table style

ゝ一世哀愁。/ 2021年09月21日 07:40/ 0 赞/ 690 阅读