[数据仓库]Kettle输出步骤

港控/mmm° 2022-05-10 11:22 238阅读 0赞

## 一、概述 ##

数据库表：  
　　　　• 表输出  
　　　　• 更新，删除，插入/更新  
　　　　• 批量加载（mysql，oracle）  
　　　　• 数据同步  
　　文件：  
　　　　• SQL 文件输出  
　　　　• 文本文件输出  
　　　　• XML 输出  
　　　　• Excel Output/Excel Writer  
　　其他（报表、应用）

## 二、数据库输出 ##

**1.表输出**

使用SQL的方式向数据库插入数据（INSERT）

支持批量提交

支持分区（Date分区）

支持字段映射

支持返回自增列

**这里提示一下出现表输出的中文乱码问题的解决方案：**

设置连接编码：characterEncoding utf8

![1135580-20180505100934459-279168766.png][]

设置连接编码一般就可以正常输出不乱吗的字符了。如果还有问题，可以继续设置客户端编码

设置客户端：set names utf8;

![1135580-20180505100813049-1838854715.png][]

一个测试的表输出如下：

![1135580-20180505101113826-1831475113.png][]

如果选择分区，需要选择Date字段进行分区，并且需要手动创建表（例如按月分区，有201804 201805两个月，则需要创建tb\_201804 tb\_201805两个表）

**2.返回自增主键**

表输出的配置如下：

![1135580-20180505101710645-435425893.png][]

预览即可查看返回的主键：

![1135580-20180505101811993-1415410372.png][]

**3.数据库字段映射**

前面步骤可以后后面表输出进行字段映射匹配：

表输出配置如下：

![1135580-20180505102203164-1386977511.png][]

字段映射：

使用猜一猜可以进行名称匹配，如果需要手动匹配，可以左右分别选择，点击Add即可！

并且映射完成之后也可以删除丢弃某些字段

![1135580-20180505102259292-820709173.png][]

**4.其它操作——删除、更新、插入更新**

删除：

根据关键字匹配，删除数据库中已有的数据。

更新：

根据关键字匹配，更新数据库中已有的数据。

插入更新：

有则更新，无则插入。

操作都是类似，上面进行匹配，下面进行处理：

![1135580-20180505103635041-858348712.png][]

**5.数据同步**

基于比较的同步方式。根据一个flag字段执行相应的插入/更新/删除操作。

配置图如下：使用合并后的flag字段（可能有new deleteed等flag），后续再根据此flag，同步变化的数据到表1

![1135580-20180505105037539-198371594.png][]

**　6.批量加载**

使用流方式加载数据

![1135580-20180505105239252-140595550.png][]

![1135580-20180505110244470-29583906.png][]

MySQL批量加载需要在Linux环境运行（有命令只能在Linux下运行）

Oracle需要本地有oracle客户端（sqlldr文件，在Oracle安装目录下查找）

##  三、文件输出 ##

**1.SQL文件输出**

根据选中的数据库类型，生成相应的 SQL 脚本（DDL，DML）。

![1135580-20180505110719669-1076948834.png][]

**2.excel文件输出**

注意2007以前的版本有65536的行数限制：

![1135580-20180505111130701-890135578.png][]

**3.文本文件输出**

比如txt json等，暂不赘述

##  四、其它输出 ##

**1.报表输出**

**　　　　**生成报表（pdf，excel，html等格式），需要事先定义好报表模板。

**2.XML输出**

同样，暂不赘述

[1135580-20180505100934459-279168766.png]: /images/20220510/a5a400673a8847969b78e572ca4d9fbf.png
[1135580-20180505100813049-1838854715.png]: /images/20220510/f86b7b86a7d04835b462974bf9e4e9a6.png
[1135580-20180505101113826-1831475113.png]: /images/20220510/a872f9f1240a4d0cbf432cec40ed5442.png
[1135580-20180505101710645-435425893.png]: /images/20220510/1bffcdbe0b5948b9908accc6fc2263e9.png
[1135580-20180505101811993-1415410372.png]: /images/20220510/82433bed776348b596d5a4d6330c5a19.png
[1135580-20180505102203164-1386977511.png]: /images/20220510/fc18efafd619412ba06a53b7e65d9c21.png
[1135580-20180505102259292-820709173.png]: /images/20220510/9f24011a37114695b5c733250557bedf.png
[1135580-20180505103635041-858348712.png]: /images/20220510/94fc5993d72845c7b80dfd73dfe3bacc.png
[1135580-20180505105037539-198371594.png]: /images/20220510/e615853f5d974b23adf057b9ce964281.png
[1135580-20180505105239252-140595550.png]: /images/20220510/773ad7f429c741768ee36c3272728865.png
[1135580-20180505110244470-29583906.png]: /images/20220510/fbf7ee8bb60e4c21a369ab9520948365.png
[1135580-20180505110719669-1076948834.png]: /images/20220510/ee2b700d1059490b9d3dcc9e673cf04b.png
[1135580-20180505111130701-890135578.png]: /images/20220510/ef5225e7a2ca4527adf8f819c8f1c11f.png