kettle-8.3.0.0：流程步骤与应用步骤

桃扇骨 2023-06-25 08:24 4阅读 0赞

# 概述 #

流程主要用来控制数据流程与数据流向。

应用则是提供一些工具类。

## 流程步骤 ##

**1.ETL元数据注入**

类似Java中的反射，在设计时不知道文件名、文件位置等，在真正执行时才知道具体的一些配置等信息

具体介绍后续补充，官方Wikia：[https://wiki.pentaho.com/display/EAI/ETL+Metadata+Injection][https_wiki.pentaho.com_display_EAI_ETL_Metadata_Injection]

**2.数据过滤**

![format_png][]

这里说一下Java代码过滤，主要是Java的一些方法，例如indexOf()，matchs()等：

![format_png 1][]

**3.处理不确定的数据行数**

![format_png 2][]

检测空流用来检测前面过来的流是否是空流；

阻塞数据只要最后一行

**4.多来源数据合并**

使用的是UNION进行合并（列数、列名、列类型需要相同），而不是JOIN：

![format_png 3][]

**5.数据流终点**

![format_png 4][]

空操作基本上就是用于自然合并与垃圾箱；

中止可以设置中止的条数，例如设置有10条记录到这里就报错

复制记录到结果可以暂存内存，供以后的转换使用

设置变量注意也是设置的变量只能**以后的转换**使用

**6.其它**

![format_png 5][]

单线程流程，暂不展开

## 应用 ##

**1.Null值处理**

![format_png 6][]

**2.启动其它程序**

![format_png 7][]

// 注意运行SSH务必提前设置免密登陆！

**3.日志功能**

![format_png 8][]

写日志就相当于Java代码里的log.info(...)了，用于自定义记录日志

**4.文件处理功能**

![format_png 9][]

**5.发送邮件**

用空格区分多个收件人（可以使用变量）

[https_wiki.pentaho.com_display_EAI_ETL_Metadata_Injection]: https://wiki.pentaho.com/display/EAI/ETL+Metadata+Injection
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIwNTM0NjUzMS0zNTA3Njc4Ni5wbmc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxMDQyNTc0Mi00NjYyMDI1NC5wbmc?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxMTAyOTIxNy0xNzczNDAyMTUwLnBuZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxMjEyNjI3OC0xNjMwODk5OTM0LnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxMzA0OTA4MS0xNzcwMTQzNjAucG5n?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxMzgyMjEyMS0xNzk2ODAyNTk2LnBuZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxNDI0MTkwMy0xMTQyOTA0NDIxLnBuZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxNDQ1MDE3NC0xMDA0NTc0MTI0LnBuZw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxNTEwNDY5NC0xMDkwMzQyOTcxLnBuZw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNTIxNTQyMTExMS0zODE0MjQ2NjYucG5n?x-oss-process=image/format,png