oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论

你的名字 2023-01-18 09:04 206阅读 0赞

咨询各位高人.

目前状况是 我单位每天都要产生 一个单品资料的基础表,

是所有单品,大约5万条数据

,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉

了.这个表每天都是通过unix上系统上下载下来.

这个表是个基础表,每天所有的交易,都是在这个表基础上的.

我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.

我想问,能不能做到这样:

每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的

对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.

如果用vb写程序是可以做到,但是确实太麻烦了.

oracle数据库有没有这种etl的功能或者方法?

merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?

如果将来,要查询历史销售的时候,需要历史的单品资料做关联.

请问有没有好的解决办法呢?

请达人教导一下.或者大家有什么想法可以讨论下.

oracle里的表和基表比较，有更新的就插入另一个新表做备份，没有的就从基表中删除，然后在再MERGE。

这样有点问题：每天备份的数据都在一个表里还是每天新创建一个表？要是都在一个表里会不会出现主键重复而备份不了？

我感觉materialized view可以。不知道你用过没有？

目前有几种思路:

1.用2楼的思路,先比较,然后把删除了的数据备份到其他表,然后,再把每天的基本表和前天的基本表对照,然后merge into...我也有点倾向这么做,但是问题是,9i不支持merge into 的删除,只有10g才支持.-\_\_-||

2.materialized view .但是没有实际做过,而且以前都是看的英文文档,有点痛苦.准备重新去看下再设计.

3.如5楼说的触发器..但是,现在情况是,前一天基本表和当天的基本表的对照,触发器不好解决吧?

比如.a 表已经存在oralce了,今天产生了一个a1表,来源是unix主机的文本.a1表中有95%和a表一样.实际都是基本表,只是日期不同.5楼兄弟有什么好的触发器机制吗?

4.timestamp的机制.(我感觉反而有点麻烦)

5.oracle cdc包来抽取(更麻烦)

我先看看先实现1和2方法吧.

大家有好的想法,具体情况,都可以拿出来讨论下...毕竟是生产中的实际例子,比看书强啊\[@more@\]

咨询各位高人.

目前状况是 我单位每天都要产生 一个单品资料的基础表,

是所有单品,大约5万条数据

,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉

了.这个表每天都是通过unix上系统上下载下来.

这个表是个基础表,每天所有的交易,都是在这个表基础上的.

我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.

我想问,能不能做到这样:

每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的

对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.

如果用vb写程序是可以做到,但是确实太麻烦了.

oracle数据库有没有这种etl的功能或者方法?

merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?

如果将来,要查询历史销售的时候,需要历史的单品资料做关联.

请问有没有好的解决办法呢?

请达人教导一下.或者大家有什么想法可以讨论下.

oracle里的表和基表比较，有更新的就插入另一个新表做备份，没有的就从基表中删除，然后在再MERGE。

这样有点问题：每天备份的数据都在一个表里还是每天新创建一个表？要是都在一个表里会不会出现主键重复而备份不了？

我感觉materialized view可以。不知道你用过没有？

目前有几种思路:

1.用2楼的思路,先比较,然后把删除了的数据备份到其他表,然后,再把每天的基本表和前天的基本表对照,然后merge into...我也有点倾向这么做,但是问题是,9i不支持merge into 的删除,只有10g才支持.-\_\_-||

2.materialized view .但是没有实际做过,而且以前都是看的英文文档,有点痛苦.准备重新去看下再设计.

3.如5楼说的触发器..但是,现在情况是,前一天基本表和当天的基本表的对照,触发器不好解决吧?

比如.a 表已经存在oralce了,今天产生了一个a1表,来源是unix主机的文本.a1表中有95%和a表一样.实际都是基本表,只是日期不同.5楼兄弟有什么好的触发器机制吗?

4.timestamp的机制.(我感觉反而有点麻烦)

5.oracle cdc包来抽取(更麻烦)

我先看看先实现1和2方法吧.

大家有好的想法,具体情况,都可以拿出来讨论下...毕竟是生产中的实际例子,比看书强啊

发表评论取消回复

表情：

评论列表（有 0 条评论，206人围观）

还没有评论，来说两句吧...

相关阅读

相关 oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论

咨询各位高人. 目前状况是我单位每天都要产生一个单品资料的基础表, 是所有单品,大约5万条数据 ,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉了.

你的名字/ 2023年01月18日 09:04/ 0 赞/ 207 阅读

相关查看oracle数据增量_查看oracle数据库job及会话信息

查看所有job select from dba\_jobs; 查看正在运行的job select from dba\_jobs\_running; select

电玩女神/ 2022年10月25日 14:10/ 0 赞/ 126 阅读

相关 Oracle RMAN 增量备份

在rman增量备份中，有差异增量和累积增量的概念 1、概念差异增量：是备份上级及同级备份以来所有变化的数据块，差异增量是默认增量备份方式累积增量：是

小咪咪/ 2022年09月18日 00:55/ 0 赞/ 270 阅读

相关 mysql数据库数据增量同步到导入ClickHouse

ClickHouse 可以挂载为 MySQL 的一个从库，先全量再增量的实时同步 MySQL 数据，这个功能可以说是今年最亮眼、最刚需的功能，基于它我们可以轻松的打造一套企业

忘是亡心i/ 2022年09月15日 11:54/ 0 赞/ 351 阅读

相关 oracle按每天,每周,每月,每季度,每年查询统计数据

//按天统计 select count(dataid) as 每天操作数量, sum() from tablename

青旅半醒/ 2022年08月13日 10:29/ 0 赞/ 256 阅读

相关 Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入

Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表需求将Oracle中的业务基础表增量数

女爷i/ 2022年08月05日 07:29/ 0 赞/ 142 阅读

相关 PostgreSQL 如何潇洒的处理每天上百TB的数据增量

摘要：本文主要介绍并测试一下PostgreSQL 在中高端x86服务器上的数据插入速度，帮助企业用户了解PostgreSQL在这种纯插入场景的性能。（例如运营商网关数据，金

墨蓝/ 2022年07月16日 14:07/ 0 赞/ 177 阅读

相关 solr4.2增量索引之导入数据

\[b\] solr从数据库导入数据到索引中准备工作需要从solr4.2中C:\\Users\\cuichao\\Desktop\\solr\\solr-4.2.1\

逃离我推掉我的手/ 2022年04月14日 04:38/ 0 赞/ 284 阅读

相关 postgres数据库表数据增量统计

1.用于保存统计数据总量的表 CREATE TABLE IF NOT EXISTS recording_size_table( id serial,

秒速五厘米/ 2022年01月15日 03:43/ 0 赞/ 745 阅读

相关 oracle 按每天,每周,每月,每季度,每年查询统计数据

oracle 按每天,每周,每月,每季度,每年查询统计数据 //按天统计 select trunc(createtime, 'DD'),count(dataid) as 每

我就是我/ 2021年11月10日 09:16/ 0 赞/ 442 阅读