使用kettle进行增量抽取数据

- 日理万妓 2022-02-15 07:19 1990阅读 0赞

1.转自： [https://blog.csdn.net/fangdengfu123/article/details/69229377][https_blog.csdn.net_fangdengfu123_article_details_69229377]

2. kettle——（3）全量抽取和增量抽取: [https://blog.csdn.net/jack\_yangying/article/details/78064411][https_blog.csdn.net_jack_yangying_article_details_78064411]

3. kettle增量抽取框架: [https://blog.csdn.net/a275838263/article/details/51539643][https_blog.csdn.net_a275838263_article_details_51539643]

4. 使用Kettle实现数据实时增量同步: [https://blog.csdn.net/dora\_310/article/details/80511793][https_blog.csdn.net_dora_310_article_details_80511793]

5. kettle入门(七) 之kettle增量方案(一)全量比对取增量-根据唯一标示:  [https://blog.csdn.net/xiaohai798/article/details/45364561][https_blog.csdn.net_xiaohai798_article_details_45364561]

6. 数据清洗小记(11)：Kettle\_利用设置变量实现数据增量（小例）: [https://www.2cto.com/database/201510/447072.html][https_www.2cto.com_database_201510_447072.html]

7. Kettle使用时间戳增量抽取数据: [https://blog.csdn.net/aganliang/article/details/84995294][https_blog.csdn.net_aganliang_article_details_84995294]

8. kettle实现主从表增量迁移示例: [https://ainidehsj.iteye.com/blog/1746913][https_ainidehsj.iteye.com_blog_1746913]

版权声明：学习中。。。    https://blog.csdn.net/fangdengfu123/article/details/69229377  
使用背景：   
当前项目中使用的数据依赖于其它系统，别人的系统当然不会把实时更新的数据一个不差的发送给我们（当然更加不会让我们对他们系统的数据库进行编程），所以我们要自己动手去获取他们系统中的数据。

使用工具：   
kettle

首先需要考虑的问题是不可能是全量进行数据的拷贝，数据量如此庞大！   
那么就得考虑增量，何为增量去百度。。哈哈哈

至于如何增量抽取数据，有很多种办法，我这里示范的是通过时间去增量抽取（因为刚好别人的库中每条记录的时间记录的都相当详细，所以我认为这个比较好）。

首先创建好实例库：

SQL> desc timejob;  
Name      Type         Nullable Default Comments   
\--------- ------------ -------- ------- --------   
UUID      VARCHAR2(36) Y                           
BEGINTIME DATE         Y                           
  
SQL> desc timejob\_bak;  
Name      Type         Nullable Default Comments   
\--------- ------------ -------- ------- --------   
UUID      VARCHAR2(36) Y                           
BEGINTIME DATE         Y                           
  
kettle中有自动生成UUID的功能，所以直接拿过来耍，为了简洁方便，字段使用比较少。   
首先利用kettle自动生成测试数据：   
   
   
主要生成UUID和当前系统时间到timejob表中（每隔2s执行一次），我们后续的操作都是对这张表中的数据进行一个备份。

下面第二步就是抽取该表中的数据到一个备份表中，timejob\_bak。   
   
   
这里由于是我第一次操作，比较简单，就直接上图了。。

获得上次操作时间和系统时间存到变量中：   
   
这里的开始时间是通过表数据选项获得上一次操作的最终结束时间，以作为我此次增量抽取的开始时间。第二个变量是获得系统的当前时间。

根据时间抽取timejob表中的数据：   
   
获取变量的写法：

此处获取的变量就是上一步存入的变量，下面的抽取增量数据就是一个sql，从timejob表中抽取数据，存数据就是一个表输出。   
抽取数据sql：

SELECT  
  UUID  
, BEGINTIME  
FROM TIMEJOB  
where begintime > to\_date(substr('$\{endtime\}',1,19),'yyyy-mm-dd hh24:mi:ss')  
and begintime <= to\_date(substr('$\{sysdate\}',1,19),'yyyy-mm-dd hh24:mi:ss')  
  
在这个表输入功能里面有个注意点：   
   
必须将替换sql语句变量打钩，否则变量无法识别。   
表输出就没什么可以写的了。

最后一个操作就是记录本次的操作时间的相关记录。

附上连跑半个多小时的数据记录：   
   
   
   
看结果可知存在遗漏抽取（后来清空数据又跑了一次，发现随着时间的增长，两张表中数据量的差距越来越大），所以想法子查找出原因，就要考虑到底是什么问题。

由于sql比较简单，因此不会出现sql的问题，数据也没有胡乱试的增长（刚开始玩kettle的时候，我把第二大步骤的三个转换写在一个转换里面，数据总是炸），所以就考虑唯一能够存在的问题：时间。。

因为生成数据是2s一次，而数据抽取是6s一次，就要考虑是不是在每隔6s的时间点上，数据录入了，但是没有被抽取作业给读取到，但是当前时间段已经跳过去了，造成了数据遗漏，进库测试下。   
胡乱写个sql测试下：

根据之前的测试数据量测试结果：   
841 - 678 = 163.。。。。   
结果跟测试的数据量刚好吻合，说明我们的猜想是正确的，那么就要考虑如何解决这个问题。   
如果按照两个作业时间间隔的最小公倍数计算，我怎么设置时间都是有可能出现这种情况的，wtf！！！！

那么想法子改sql，之前的sql是每一次任务读取的是上一次任务结束到当前时间（包括当前时间），如果我想法子把当前时间产生的数据留到下一次读取是否可行？let’s do it。

改sql我就不贴了，清空测试数据直接开跑：   
   
   
跑了将近20分钟的结果，数据一个不漏，很好很强大。。。

项目试运行的时候，客户说kettle会莫名的自动关闭，哎！有哪位大神懂的路过指导下吧。。。不胜感激，谢谢

贴个大神的整理帖子：   
http://www.cnblogs.com/jifeng/p/4741498.html  
\---------------------   
作者：fangdengfu123   
来源：CSDN   
原文：https://blog.csdn.net/fangdengfu123/article/details/69229377   
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_blog.csdn.net_fangdengfu123_article_details_69229377]: https://blog.csdn.net/fangdengfu123/article/details/69229377
[https_blog.csdn.net_jack_yangying_article_details_78064411]: https://blog.csdn.net/jack_yangying/article/details/78064411
[https_blog.csdn.net_a275838263_article_details_51539643]: https://blog.csdn.net/a275838263/article/details/51539643
[https_blog.csdn.net_dora_310_article_details_80511793]: https://blog.csdn.net/dora_310/article/details/80511793
[https_blog.csdn.net_xiaohai798_article_details_45364561]: https://blog.csdn.net/xiaohai798/article/details/45364561
[https_www.2cto.com_database_201510_447072.html]: https://www.2cto.com/database/201510/447072.html
[https_blog.csdn.net_aganliang_article_details_84995294]: https://blog.csdn.net/aganliang/article/details/84995294
[https_ainidehsj.iteye.com_blog_1746913]: https://ainidehsj.iteye.com/blog/1746913