使用kettle进行数据迁移

雨点打透心脏的1/2处 2022-03-01 07:22 910阅读 0赞

### 文章目录 ###

*   *   *  一、kettle下载与运行
         *   *   *  1. 下载地址
                 *  2. 运行
         *  二、使用“复制多表向导”进行整表复制
         *   *   *  1. 新建一个“转换”
                 *  2. 设置DB连接
                 *  3. 使用“复制多表向导”
                 *  4. 执行
         *  三、有字段映射的单表迁移
         *   *   *  1. 新建一个“转换”
                 *  2. 设置DB连接
                 *  3. 使用“复制单表向导”
                 *  4. 修改一些设置
                 *  5. 执行
         *  四、设置作业定时调度
         *   *   *  1. 双击作业start节点，设置定时调度
                 *  2. 点击运行，选择\`Start job at = Start\`，执行
                 *  3. 查看日志，检查执行是否正常
         *  五、linux环境kettle部署

### 一、kettle下载与运行 ###

##### 1. 下载地址 #####

[https://community.hitachivantara.com/docs/DOC-1009855][https_community.hitachivantara.com_docs_DOC-1009855]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70]

##### 2. 运行 #####

下载完成后，解压即可，双击`Spoon.bat`运行。  
注意需要配好JDK path。  
启动较慢，十秒钟可能毫无反应，耐心等待。

> 说明：后文例子是从sqlserver迁移到mysql

### 二、使用“复制多表向导”进行整表复制 ###

> 适用业务场景：小数据量数据迁移，直接整表迁移至目标库（新建源表同样的表），然后在目标库中进行数据整理。

##### 1. 新建一个“转换” #####

##### 2. 设置DB连接 #####

涉及什么库，就要在`lib`目录下添加对应的数据库连接jar包（注意版本不合适可能报错）：

sqlserver：jtds-1.3.1.jar
    mysql：mysql-connector-java-5.1.18.jar
    oracle：ojdbc14-10.2.0.1.0.jar

（1）设置源库连接：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 1]  
（2）设置目标库连接：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 2]  
**可能碰到的错误：**  
**总体解决思路：在确保填写无误之后，重点考虑mysql-connector-java-xxx.jar 的版本（测试发现mysql-connector-java-5.1.46.jar比较好用。**  
错误1：Error connecting to database: (using class org.gjt.mm.mysql.Driver)  
Unknown initial character set index ‘255’ received from server. Initial client character set can be forced via the ‘characterEncoding’ property.  
解决1：设置`characterEncoding=utf8`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 3]  
错误2：Error connecting to database: (using class org.gjt.mm.mysql.Driver)  
Unexpected exception encountered during query.  
解决2：mysql-connector-java-\*.jar版本不合适，改成mysql-connector-java-5.1.46.jar测试可以。

##### 3. 使用“复制多表向导” #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 4]  
（1）选择源数据库和目标数据库  
（2）选择需要复制的表  
（3）设置作业名称和保存位置，完成

> 问题1：为什么使用kettle，不直接导出sql语句啥的呢？  
> 因为kettle会自动处理不同数据库字段格式兼容的问题。  
> 问题2：为什么使用复制多表向导，不使用复制单表向导呢？  
> 复制单表要求目标库有对应表，不会自动生成新建表的步骤；复制多表（选择单表当然可以），会检测目标库有没有同名表，没有的话会生成新建表的步骤，有的话就没有新建表步骤。（测试发现是这样，不当之处请指正）

##### 4. 执行 #####

![在这里插入图片描述][2019032110083924.png]

### 三、有字段映射的单表迁移 ###

> 适用业务场景：源库中某表数据迁移到目标库中某表，需要设置字段映射。

也不用从核心对象中拖入对象啥的，直接使用“复制单表向导”。

##### 1. 新建一个“转换” #####

##### 2. 设置DB连接 #####

##### 3. 使用“复制单表向导” #####

（1）选择源数据库和目标数据库  
（2）选择需要复制的表，完成  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 5]

##### 4. 修改一些设置 #####

（1）表输入步骤：可以修改select语句，也可修改步骤名称等。  
（2）表输出步骤：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 6]

##### 5. 执行 #####

### 四、设置作业定时调度 ###

##### 1. 双击作业start节点，设置定时调度 #####

下图设置了每隔5秒执行一次  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 7]

##### 2. 点击运行，选择`Start job at = Start`，执行 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 8]

##### 3. 查看日志，检查执行是否正常 #####

### 五、linux环境kettle部署 ###

[https://www.baidu.com/s?wd=kettle+linux部署&ie=utf-8][https_www.baidu.com_s_wd_kettle_linux_ie_utf-8]

[https_community.hitachivantara.com_docs_DOC-1009855]: https://community.hitachivantara.com/docs/DOC-1009855
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70]: /images/20220301/81095dc718b74d89a5cc2d68fecd3f9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 1]: /images/20220301/b4aa4cc75acd4dd3b7ccefae75b9cd70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 2]: /images/20220301/457e58339fc64d6fa9e225ed831f9444.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 3]: /images/20220301/1b5832b4388b4eb888e9626acfc6380c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 4]: /images/20220301/0933eb62a83542b38132cb086ff4e394.png
[2019032110083924.png]: /images/20220301/26b6f2f014c24d7398976e8feaac4cae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 5]: /images/20220301/558e735dfa1c42aab66fddd865ff5d9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 6]: /images/20220301/1480970eab1846c989fb8ed825ed772f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 7]: /images/20220301/d2289415555a4026b5f9c77434743ed4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1a2FpaXQ_size_16_color_FFFFFF_t_70 8]: /images/20220301/42a4f84902f14f2b985bfd154c1018eb.png
[https_www.baidu.com_s_wd_kettle_linux_ie_utf-8]: https://www.baidu.com/s?wd=kettle+linux%E9%83%A8%E7%BD%B2&ie=utf-8