采用Kettle分页处理大数据量抽取任务

绝地灬酷狼 2021-12-21 02:35 419阅读 0赞

转自：  [https://www.cnblogs.com/greyzeng/p/5524614.html][https_www.cnblogs.com_greyzeng_p_5524614.html]

[Kettle进行数据迁移（ETL）][Kettle_ETL]:  [https://www.cnblogs.com/wlming/p/8080480.html][Kettle_ETL]

kettle详解（数据抽取、转换、装载）: [https://blog.csdn.net/u010735147/article/details/81905485][https_blog.csdn.net_u010735147_article_details_81905485]

使用kettle进行增量抽取数据: [https://blog.csdn.net/fangdengfu123/article/details/69229377][https_blog.csdn.net_fangdengfu123_article_details_69229377]

一种基于kettle的大数据平台数据抽取和统计方法与流程: [http://www.xjishu.com/zhuanli/55/201610837148.html][http_www.xjishu.com_zhuanli_55_201610837148.html]

kettle简单使用以及进行数据抽取同步: [https://www.jianshu.com/p/d98d7d1179c7][https_www.jianshu.com_p_d98d7d1179c7]

ETL工具kettle怎么进行增量数据抽取：一、通过标志位: [https://blog.51cto.com/13602563/2163559][https_blog.51cto.com_13602563_2163559]

[大量数据快速导出的解决方案-Kettle][-Kettle]:  [https://www.cnblogs.com/itechpark/archive/2016/11/07/yinzei\_kettle\_excel.html][https_www.cnblogs.com_itechpark_archive_2016_11_07_yinzei_kettle_excel.html]

Kettle抽取数据-循环遍历数据: [https://blog.csdn.net/daocaoren92wq/article/details/83655589][https_blog.csdn.net_daocaoren92wq_article_details_83655589]

Kettle-7.0增量抽取订单数据: [https://blog.csdn.net/zisheng\_wang\_data/article/details/71632011][https_blog.csdn.net_zisheng_wang_data_article_details_71632011]

kettle抽取——多平台汇总数据仓库:  [https://blog.csdn.net/qq\_35318838/article/details/66974575][https_blog.csdn.net_qq_35318838_article_details_66974575]

[采用Kettle分页处理大数据量抽取任务][Kettle]:  [https://www.cnblogs.com/lcword/p/9570719.html][Kettle]

企业级增量抽取数据模型（Kettle版）: [https://www.javazhiyin.com/12405.html][https_www.javazhiyin.com_12405.html]

Kettle使用时间戳抽取数据总结: [http://www.manongjc.com/article/58382.html][http_www.manongjc.com_article_58382.html]

# [Practitioner][] #

需要不断努力，才能毫不费力

## [采用Kettle分页处理大数据量抽取任务][https_www.cnblogs.com_greyzeng_p_5524614.html] ##

## 作者：[Grey][] ##

## 原文地址： [http://www.cnblogs.com/greyzeng/p/5524614.html][http_www.cnblogs.com_greyzeng_p_5524614.html] ##

## 需求： ##

将Oracle数据库中某张表历史数据导入MySQL的一张表里面。

**源表（Oracle）：table1**

**目标表（MySQL）：table2**

**数据量：20,000,000**

## 思路： ##

**由于服务器内存资源有限，**所以，无法使用Kettle一次性从源表导入目标表千万级别的数据，考虑采用**分页导入**的方式来进行数据传输，即：

根据实际情况设置一个每次处理的数据量，比如：5,000条，然后根据总的数据条数和每次处理的数据量计算出一共分几页，

假设总数据量有：20,000,000，所以页数为：20,000,000/5,000=4,000页

**注: 若存在小数，小数部分算一页，比如：20.3算21页**

## 步骤： ##

根据需求的条件，首先对数据进行分页：

**数据量：20,000,000**

**每页数据量：5,000**

**页数：4,000**

**源表（Oracle）：table1**

**目标表（MySQL）：table2**

主流程：transfer\_table1\_to\_table2.kjb

![683206-20160524194516194-354300000.png][]

流程说明：  
transfer\_table1\_to\_table2.kjb: 主流程

build\_query\_page.ktr: 构造页数游标

loop\_execute.kjb: 根据页数来执行数据导入操作

我们分别来看各个部分的构成：

### build\_query\_page.ktr: 构造页数游标 ###

这一步中，我们需要构造一个类似这样的数据结构：

![683206-20160524194516631-2021415736.png][]

其中P\_PAGE是表头，其余为页码数，

注: 在这里取页码数我通过这个表的rownum来构造

SQL：

select rownum as P\_PAGE from mds.mds\_balances\_hist where rownum<=4000

具体实现如下图：

![683206-20160524194517038-1111488663.png][]

![683206-20160524194517538-776891466.png][]

![683206-20160524194517975-1948930536.png][]

![683206-20160524194518475-1386205648.png][]

![683206-20160524194518991-1147197928.png][]

### loop\_execute.kjb: 根据页数来执行数据导入操作 ###

在上一步中，我们构造了页数，在这步中，我们遍历上一步中的页码数，通过页码数找出相应的数据集进行操作，

其中包括set\_values.ktr和execute\_by\_page.ktr两个转换

loop\_execute.kjb具体实现如下：

![683206-20160524194519397-1274878949.png][]

set\_values.ktr：表示获取从上一步中获得的页数

![683206-20160524194520006-1487971080.png][]

execute\_by\_page.ktr：表示根据页数进行数据导入操作

![683206-20160524194520491-312651293.png][]

其中query\_by\_page采用Oracle经典三层嵌套分页算法：

SELECT b.rn,b.\* FROM

(

SELECT A.\*, ROWNUM RN

FROM (SELECT \* FROM table1) A

WHERE ROWNUM <= ($\{VAR\_P\_PAGE\}\*5000)

) b

WHERE RN >= (($\{VAR\_P\_PAGE\}-1)\*5000+1)

![683206-20160525082053444-1481112814.png][]

**注: $\{VAR\_P\_PAGE\}为每次获取的页码数。**

select\_field为设置需要导入的列名：

![683206-20160524194521553-129315576.png][]

![683206-20160524194522038-948918920.png][]

output\_target目的是输出到目标表table2：

![683206-20160524194522538-1020528669.png][]

因为要遍历上一次执行的结果，那么需要在transfer\_table1\_to\_table2.kjb的loop\_execute.kjb中做如下设置：

![683206-20160524194523381-1942531158.png][]

最后，执行transfer\_table1\_to\_table2.kjb即可。

## 总结： ##

通过上述方法，我们可以很好的解决内存不足的情况下，大数据量在不同的数据库之间的导入工作。

## FAQ： ##

*  在Kettle导入大量数据的过程中，可能会出现连接断开的现象：

[http://forums.pentaho.com/showthread.php?74102-MySQL-connection-settings-at-java-level][http_forums.pentaho.com_showthread.php_74102-MySQL-connection-settings-at-java-level]

(Idle connection timeout if we keep kettle idle for 8hours).

解决办法：

![683206-20160526095951444-913387012.png][]

[https_www.cnblogs.com_greyzeng_p_5524614.html]: https://www.cnblogs.com/greyzeng/p/5524614.html
[Kettle_ETL]: https://www.cnblogs.com/wlming/p/8080480.html
[https_blog.csdn.net_u010735147_article_details_81905485]: https://blog.csdn.net/u010735147/article/details/81905485
[https_blog.csdn.net_fangdengfu123_article_details_69229377]: https://blog.csdn.net/fangdengfu123/article/details/69229377
[http_www.xjishu.com_zhuanli_55_201610837148.html]: http://www.xjishu.com/zhuanli/55/201610837148.html
[https_www.jianshu.com_p_d98d7d1179c7]: https://www.jianshu.com/p/d98d7d1179c7
[https_blog.51cto.com_13602563_2163559]: https://blog.51cto.com/13602563/2163559
[-Kettle]: https://www.cnblogs.com/itechpark/p/yinzei_kettle_excel.html
[https_www.cnblogs.com_itechpark_archive_2016_11_07_yinzei_kettle_excel.html]: https://www.cnblogs.com/itechpark/archive/2016/11/07/yinzei_kettle_excel.html
[https_blog.csdn.net_daocaoren92wq_article_details_83655589]: https://blog.csdn.net/daocaoren92wq/article/details/83655589
[https_blog.csdn.net_zisheng_wang_data_article_details_71632011]: https://blog.csdn.net/zisheng_wang_data/article/details/71632011
[https_blog.csdn.net_qq_35318838_article_details_66974575]: https://blog.csdn.net/qq_35318838/article/details/66974575
[Kettle]: https://www.cnblogs.com/lcword/p/9570719.html
[https_www.javazhiyin.com_12405.html]: https://www.javazhiyin.com/12405.html
[http_www.manongjc.com_article_58382.html]: http://www.manongjc.com/article/58382.html
[Practitioner]: https://www.cnblogs.com/greyzeng/
[Grey]: http://www.cnblogs.com/greyzeng/
[http_www.cnblogs.com_greyzeng_p_5524614.html]: http://www.cnblogs.com/greyzeng/p/5524614.html
[683206-20160524194516194-354300000.png]: /images/20211220/a1e6a5718aae4f9ea45b83af394553dd.png
[683206-20160524194516631-2021415736.png]: /images/20211220/5bb169c443064b238015914e72ba5e1f.png
[683206-20160524194517038-1111488663.png]: /images/20211220/07ebef35863a4eb4aba2e70ec4df899d.png
[683206-20160524194517538-776891466.png]: /images/20211220/9e175e0aa79a4ff29f2013c343d7b0e7.png
[683206-20160524194517975-1948930536.png]: /images/20211220/567c8124adbe4cff8ba6e6c235071928.png
[683206-20160524194518475-1386205648.png]: /images/20211220/db70290113a042679fa0fad3c53b9042.png
[683206-20160524194518991-1147197928.png]: /images/20211220/f76ab96b953e4ece9d017a4f6580caed.png
[683206-20160524194519397-1274878949.png]: /images/20211220/8b6d180e44f44ce1a0c6c9e3c69afff8.png
[683206-20160524194520006-1487971080.png]: /images/20211220/5ab49619d0bd4332992dd7f22b0777ed.png
[683206-20160524194520491-312651293.png]: /images/20211220/088714f05f8849eaabe425a4969c5e2f.png
[683206-20160525082053444-1481112814.png]: /images/20211220/b6c85184e6f948b0bd1a7088c3753941.png
[683206-20160524194521553-129315576.png]: /images/20211220/a0671eac1c144a798f3967f1662f12d9.png
[683206-20160524194522038-948918920.png]: /images/20211220/2486412b46554569ab2ea304e870105e.png
[683206-20160524194522538-1020528669.png]: /images/20211220/8ab32574fa6c4d2586a56d69148338a3.png
[683206-20160524194523381-1942531158.png]: /images/20211220/7ff27dcd82584ecbbc9e74ea97c08c4c.png
[http_forums.pentaho.com_showthread.php_74102-MySQL-connection-settings-at-java-level]: http://forums.pentaho.com/showthread.php?74102-MySQL-connection-settings-at-java-level
[683206-20160526095951444-913387012.png]: /images/20211220/cb405f9eab99444698c0d1e289745476.png