kettle7.0下实现数据库整体迁移

水深无声 2022-05-16 13:46 403阅读 0赞

# kettle7.0下实现数据库整体迁移 #

一、采用软件自带方式

1.新建一个job，创建两个DB连接：source、target（源数据库和目标数据库连接），在菜单中找到【复制多表向导】，点击进行相关操作：

![Center][]

2.选择源数据库和目标数据库

![Center 1][]

3.选择所需迁移的表

![Center 2][]

4.编辑生成的job文件名：qy.kjb，和文件目录，编辑好后【Finish】

![Center 3][]

5.运行qy.kjb，可在test2数据库中看到成功生成迁移来的表。

![Center 4][]

![Center 5][]

二、自定义数据库迁移（oracle >> mysql）

1.创建一个主job：数据库迁移.kjb

![Center 6][]

2.创建转换：获取表名称.ktr

![Center 7][]

1) 创建一个DB连接：oraclesource（源数据库连接）

![Center 8][]

2)  表输入

![Center 9][]

注：oracle中获取表名SQL:select \* from user\_tables，mysql中为：show tables

3) 字段选择

点击【获取选择的字段】，添加新的字段，选中"TABLE\_NAME"并改名成“tablename”，将其余字段删除

![Center 10][]

4）添加一个【复制记录到结果字符串】

![Center 11][]

3.新建一个job：抽取表.kjb

![Center 12][]

1) 新建一个DB连接：mysqltarget

![Center 13][]

4. 新建一个转换：表名称变量设置.ktr

![Center 14][]

1) 添加一个【从结果获取记录】

![Center 15][]

2）添加一个【设置变量】

![Center 16][]

5.添加一个【检查表是否存在】

![Center 17][]

6.新建一个转换：创建目标库表结构.ktr

![Center 18][]

1) 新建两个DB连接：oraclesource，mysqltarget

创建过程同上

2）添加一个【表输入】

![Center 19][]

3）添加一个【Java代码】，代码如下：

`public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException`

`{`

`Object[] r = getRow();`

`//本地连接获取数据库元数据`

`//org.pentaho.di.core.database.DatabaseMeta dbmeta = getTransMeta().findDatabase("target");`

`//资源库连接获取数据库元数据`

`org.pentaho.di.core.database.DatabaseMeta dbmeta = null;`

`java.util.List list = getTrans().getRepository().readDatabases();`

`if(list != null && !list.isEmpty())`

`{`

`for(int i=0;i<list.size();i++)`

`{`

`dbmeta = (org.pentaho.di.core.database.DatabaseMeta)list.get(i);`

`if("target".equalsIgnoreCase(dbmeta.getName()))`

`{`

`break;`

`}`

`if(dbmeta!=null)`

`{`

`org.pentaho.di.core.database.Database db=new org.pentaho.di.core.database.Database(dbmeta);`

`try`

`{`

`db.connect();`

`String tablename = getVariable("TABLENAME");`

`//在日志中显示创建表名`

`logBasic("开始创建表：" + tablename);`

`if(tablename!=null && tablename.trim().length()>0)`

`{`

`//获取表名称和输入行数据`

`String sql = db.getDDLCreationTable(tablename ,getInputRowMeta());`

`db.execStatement(sql.replace(";", ""));`

`//在日志中显示sql语句`

`logBasic(sql);`

`}`

`catch(Exception e)`

`{`

`logError("创建表出现异常",e);`

`}finally{`

`db.disconnect();`

`}`

`return false;`

`}`

7. 新建一个转换：表抽取.ktr

![Center 20][]

1）新建两个DB连接：oraclesource，mysqltarget。

创建过程同上

2） 添加一个【表输入】

![Center 21][]

3）添加一个表输出

![Center 22][]

8.运行数据库迁移.kjb

在mysql数据库test2中成功生成迁移的所有表

![Center 23][]

注：1.此方案是在资源库环境下创建并运行的，需要登陆资源库。

2.此方案下载地址：[点击打开链接][Link 1]

存在问题：当源数据库中存在空表时，会报以下错误：

2017/04/19 14:57:05 - 创建表结构.0 - 开始创建表：KFYQGX  
2017/04/19 14:57:05 - 创建表结构.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : 创建表出现异常  
2017/04/19 14:57:05 - 创建表结构.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : java.lang.NullPointerException  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.core.database.DatabaseMeta.quoteReservedWords(DatabaseMeta.java:2352)  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.core.database.Database.getDDLCreationTable(Database.java:4441)  
2017/04/19 14:57:05 - 创建表结构.0 -  at Processor.processRow(Processor.java:45)  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.trans.steps.userdefinedjavaclass.UserDefinedJavaClass.processRow(UserDefinedJavaClass.java:1018)  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)  
2017/04/19 14:57:05 - 创建表结构.0 -  at java.lang.Thread.run(Thread.java:745)

此问题还未解决，需要后期解决

转载：[https://blog.csdn.net/sunggff/article/details/70213417][https_blog.csdn.net_sunggff_article_details_70213417]

[Center]: /images/20220516/31a873d04921497dab822ff37fbb4b51.png
[Center 1]: /images/20220516/61707944c7c34b1f8131c94713101061.png
[Center 2]: /images/20220516/95eecf9375ee40a7b82296f8f99b339f.png
[Center 3]: /images/20220516/b5340e919de74cc2ba7cb9cf9f5beb7d.png
[Center 4]: /images/20220516/82119316fa9643139f64f5453a765774.png
[Center 5]: /images/20220516/c02ce0357ac94f36a3b80bf2578c3082.png
[Center 6]: /images/20220516/3999d25e2a6742429d00f7d2e94f2276.png
[Center 7]: /images/20220516/040db0c1c36641d19279beb81f2e9317.png
[Center 8]: /images/20220516/7a9aa5a61bcd49bd802945bc93265be7.png
[Center 9]: /images/20220516/ef9f3c0ef6fb4148a9d1423cf3f0819b.png
[Center 10]: /images/20220516/a1acc3e658b4484bb6b5bda2412a25b3.png
[Center 11]: /images/20220516/4bdd427c4c584ca48067d55e75ad0958.png
[Center 12]: /images/20220516/983018e975104cd8a07e168bf2f4d960.png
[Center 13]: /images/20220516/0b20ec6f58d840f18be7c0a480866e35.png
[Center 14]: /images/20220516/fd48375eee8b46b390a1ab754d95dc85.png
[Center 15]: /images/20220516/d337c2243b354bfeb1c6da36d6ee9eb1.png
[Center 16]: /images/20220516/7a3646c421014736971aebdd91ea691a.png
[Center 17]: /images/20220516/6cd709d1fe1e414eaf1fd5d778e9e27f.png
[Center 18]: /images/20220516/803556cd61a74578a672aca843938933.png
[Center 19]: /images/20220516/6b0d6b0f6d274e5ba1b08c3da9589a92.png
[Center 20]: /images/20220516/9c51f231ecb646f9a2fa290510716040.png
[Center 21]: /images/20220516/c359f8a4e30743729891a90d7ff87691.png
[Center 22]: /images/20220516/0f03c14c16ea4da290452a119272985f.png
[Center 23]: /images/20220516/640e48b2be8043edb55e3dce86c7c032.png
[Link 1]: http://download.csdn.net/detail/sunggff/9819287
[https_blog.csdn.net_sunggff_article_details_70213417]: https://blog.csdn.net/sunggff/article/details/70213417