kettle常用操作--Excel文件和数据库表之间的数据转换

骑猪看日落 2024-04-07 15:04 37阅读 0赞

## kettle常用操作–Excel文件和数据库表之间的数据转换 ##

### 一、Excel文件数据导入到数据库表 ###

#### 1.1 创建一个转换 ####

点击右上角文件，选择新建，再选择转换即可创建一个转换。  
![在这里插入图片描述][680aaaad2af3488ba9b13068b431749a.png]  
![在这里插入图片描述][798857b4bcde4342a3332af79539f20f.png]

之后的操作都是基于这个转换中的核心对象来操作。

#### 1.2 所用到的核心对象 ####

*  输入菜单下的`Excel输入`
 *  输出菜单下的`表输出`
    
     *  不一定是用表输出，使用`插入/更新`控件也可以实现同样的效果

> 具体使用`表输出`控件，还是`插入/更新`控件，需要结合实际业务情况。到时用法都是差不多的。

#### 1.3 把这两个控件拖出来 ####

![在这里插入图片描述][397a2b7edfc64fadbbf7a0b44389ec02.png]

按住`shift`键，对准`Excel输入`控件按下鼠标左键，拖向表输出控件就可以建立流连接。

#### 1.4 配置DB连接 ####

**切换到主对象树下，鼠标右击转换菜单下的`DB连接`，选择新建：**  
![在这里插入图片描述][83f8fd5332ce4f4eb5d99205009d0de3.png]

**配置一个MySql连接：**  
![在这里插入图片描述][5c54d0ead45349d6af40cfdd622a3352.png]

**配置好后选择确定，就能看到当前转换下的一个DB连接：**  
![在这里插入图片描述][380be7f188c54170a9ca6b9f57ff7141.png]

#### 1.5 配置Excel输入 ####

**双击Excel输入控件，进入配置页：**

##### 1.5.1 点击浏览选择本地Excel文件 #####

![在这里插入图片描述][030e7bebf7bd461599c18ab8bbcc4bf2.png]

##### 1.5.2 点击增加把浏览的文件添加到选中的文件列表中 #####

![在这里插入图片描述][761811e9891e4dc499c427055fff7418.png]

此时，文件或目录后面的输入框就自动清空了，二选中的文件列表中多出了一条数据。

这就代表`Excel输入`控件中已经输入了一个`Excel`文件的数据。

##### 1.5.3 配置工作表 #####

点击文件旁边的工作表，切换到工作表配置窗口。

点击底部获取工作表名称。

我这里就选择`Sheet1`。

![在这里插入图片描述][7ad05b36184d4e4689bd22632a199a08.png]

##### 1.5.4 配置输入字段 #####

点击错误处理旁边的字段，切换到字段配置窗口。

点击底部获取来自头部数据的字段。  
![在这里插入图片描述][4b16a6c13cad4e1d9f73c70a56799a56.png]

如果自动获取的字段配置和自己想要的不一样可以自行修改。

我这里就不修改了。

#### 1.6 配置表输出 ####

**双击表输出控件，进入配置页：**

##### 1.6.1 主要配置数据库连接，目标表和需要插入的字段。 #####

![在这里插入图片描述][9de4d8ac5bd146a2b82c125718ca0126.png]

> 数据库连接需要自己在转换中创建了DB连接，这里才会有的选择。

##### 1.6.1 字段映射配置 #####

点击获取字段时，可能表字段和流字段的映射并不符合实际情况。

比如表字段和Excel文件的表头对应的字段名称并不相同。

这里可以选择主动修改表字段中不对的名称，也可以点击输入字段映射，自行指定映射关系。  
![在这里插入图片描述][c37b826d2a174cc5968747cf26e9026a.png]

#### 1.7 测试转换 ####

##### 1.7.1 测试之前 #####

**测试之前Excel数据：**

![在这里插入图片描述][c22f4a1e3d5543689e06fec6d48a8469.png]

**测试之前数据库表数据：**

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j1NIWlX0-1662715967901)(assets\\数据库表原始结构.png)\]  
![在这里插入图片描述][8ef2899f3a4449c48552b0aa7ed96795.png]

##### 1.7.2 开始测试 #####

![在这里插入图片描述][e91dcbfae7d54d11a0d05b9766d62c4d.png]

**测试成功后，可以查看控制台**

![在这里插入图片描述][4b5d5fa7d2c047be893c67aa339083a5.png]

发现转换成功！

##### 1.7.3 测试之后 #####

**测试之后数据库表数据：**  
![在这里插入图片描述][d77436d9830f449fb3d2679ce4882ad8.png]

转换完全成功！

实现了把Excel数据提取到数据库表中。

### 二、数据库表数据导入到Excel文件 ###

创建转换，创建`DB`连接，拖出控件的操作都是和上面一样的。

只不过，这一次需要的是`表输入`和`Excel输出控件`。  
![在这里插入图片描述][c8a4764791b242219c3c077fa3ec978d.png]

#### 2.1 表输入控件的配置 ####

只需要配置好数据库连接，再点击获取`SQL`查询语句即可。

这个语句查询出来的数据就是以后表输入控件中携带的数据了。

这个自动获取的语句也是可以自行更改的。

![在这里插入图片描述][cf229373dc9e4a49acfc2e951c29f7f7.png]

#### 2.2 Excel输出控件的配置 ####

**第一步配置Excel文件名和拖展名：**

输入需要接收数据的`Excel`本地文件的文件名，这里我没有带上后缀。

后缀在拓展名处已经配置。

如果文件名那里写了文件后缀，例如`Excel输出位置.xlsx`，那么拓展名那里就什么都不要写即可。  
![在这里插入图片描述][acc00cd39fc74a6fba80a90a2e36928b.png]

**第二步配置字段：**

自动获取字段后有不符合的可以更据自己需求修改。  
![在这里插入图片描述][7224f5b8a61e47728625776c68cd0b64.png]

#### 2.3 运行转换![在这里插入图片描述][79c0aad7e8b6403190a3f23836efd8e6.png] ####

发现表中的数据也能够输出到Excel文件中。

[680aaaad2af3488ba9b13068b431749a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a9214fa4c97f47af85b0b7ae2bbc3f86.png
[798857b4bcde4342a3332af79539f20f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/bbaf8de7e06541c191a0237e02bd21b1.png
[397a2b7edfc64fadbbf7a0b44389ec02.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/44f502dd3b094004a706be1ca87aeb14.png
[83f8fd5332ce4f4eb5d99205009d0de3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/5972c9fecc494f12a18e1e23af7efc68.png
[5c54d0ead45349d6af40cfdd622a3352.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/6c63a559b8594d47a27a280e6fa262ce.png
[380be7f188c54170a9ca6b9f57ff7141.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b3efa0e5e8a846c2a26dafe1f8763f79.png
[030e7bebf7bd461599c18ab8bbcc4bf2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/219e02a0bcba4d538f893a17386ffd3f.png
[761811e9891e4dc499c427055fff7418.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e7838301909c4357bafce6cb5b51b657.png
[7ad05b36184d4e4689bd22632a199a08.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/cb6e7c216dc9487a8a3dbb7581f0ab9b.png
[4b16a6c13cad4e1d9f73c70a56799a56.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/8f5ef18c73cc4c50b2f9bb2c2f35ab90.png
[9de4d8ac5bd146a2b82c125718ca0126.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/ada226b7d4fa4caa9787b045c17d9664.png
[c37b826d2a174cc5968747cf26e9026a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b38950f16e6140159fe4386bc69c65c5.png
[c22f4a1e3d5543689e06fec6d48a8469.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/27bf8a84c66447d290d7143f97591d7e.png
[8ef2899f3a4449c48552b0aa7ed96795.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1b16956319474e04bcf71bbc9eeda10e.png
[e91dcbfae7d54d11a0d05b9766d62c4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/0b7095dbf90546d4b1e6349f9b896b86.png
[4b5d5fa7d2c047be893c67aa339083a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/704914f2173342f8a0a6bd41420cea79.png
[d77436d9830f449fb3d2679ce4882ad8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/767e3d6c20f444e4b30ef181bd44e223.png
[c8a4764791b242219c3c077fa3ec978d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/05a8d54af087490e92745e8b4d5b95ca.png
[cf229373dc9e4a49acfc2e951c29f7f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/5708a28e6dbf425ea793d8c966919bf3.png
[acc00cd39fc74a6fba80a90a2e36928b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b16fa61c1eb74af6ab63fe0771827415.png
[7224f5b8a61e47728625776c68cd0b64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9485773009ed415d952d8be00197b4a0.png
[79c0aad7e8b6403190a3f23836efd8e6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/549b2234d70a49498271ac39cc3cc750.png