pentaho(keetle)数据同步实践

蔚落 2024-03-23 22:01 21阅读 0赞

`pentaho`是一款开源`ETL`工具，纯java编写的C/S模式的工具，可绿色免安装，开箱即用。支持Windows、macOS、Linux平台。

`pentaho`有2个核心设计，即`转换`和`作业`。

`转换`是一个包含输入、逻辑处理、输出的完整过程，即ETL。

`作业`是一个提供定时执行转换的机制，即定时服务调度。

`pentaho`官网下载链接：[Pentaho Community Edition Download | Hitachi Vantara][Pentaho Community Edition Download _ Hitachi Vantara]

![image][]

`pentaho`由主要四部分组成

*  Spoon.bat/Spoon.sh ：勺子，是一个图形化界面，可图形化操作转换和作业
 *  Pan.bat/Pan.sh : 煎锅，可用命令行方式调用转换
 *  Kitchen.bat/Kitchen.sh : 厨房，可用命令行方式调用作业
 *  Carte.bat/Carte.sh ： 菜单，是一个轻量级web容器，可建立专用、远程的ETL Server

--------------------

### 2 pentaho安装 ###

由于是纯java编写，依赖jdk环境。所以需要先配置jdk环境，这里省略。

从官网下载`pentaho`安装包后，直接解压。

![image][image 1]

重点目录以及执行文件说明

*  lib目录 ： 这是依赖库目录，例如各个数据库的jdbc驱动，都放在此目录下
 *  logs目录 ：这是转换和作业运行的默认日志输出目录
 *  simple-jndi目录 ：这是各个数据库的JNDI连接信息的全局配置
 *  Spoon.bat/Spoon.sh ：勺子，是一个图形化界面，可图形化操作转换和作业
 *  Pan.bat/Pan.sh : 煎锅，可用命令行方式调用转换
 *  Kitchen.bat/Kitchen.sh : 厨房，可用命令行方式调用作业
 *  Carte.bat/Carte.sh ： 菜单，是一个轻量级web容器，可建立专用、远程的ETL Server

--------------------

### 3 数据同步案例 ###

> 这里使用`sqlserver`到`postgresql`同步。在Windows平台上操作。

#### 3.1 执行Spoon.bat文件，启动图形化界面 ####

![image][image 2]

可以看到左侧只有`作业`和`转换`。

#### 3.2 创建一个转换，右键，新建 ####

![image][image 3]

左侧是一些转换插件。

#### 3.3 创建一个数据源输入，展开输入，选择表输入 ####

![image][image 4]

切换到`主对象树`,选择`DB连接`,连接数据源。

由于我这里是sqlserver同步到postgresql，所以需要创建sqlserver和postgresql的`DB连接`。

> 创建连接前，需要先下载sqlserver的 jdbc驱动`mssql-jdbc-12.2.0.jre8.jar` 和 postgresql的jdbc驱动`postgresql-42.6.0.jar`,我这里直接选的最新版。

sqlserver的连接

![image][image 5]

> sqlserver的连接，如果选择JNDI则无法连接，目前猜测可能是驱动版本问题

postgresql的连接

![image][image 6]

点击测试，如果连接成功，则会弹框提示

![image][image 7]

#### 3.4 编辑表输入 ####

![image][image 8]

先选择数据库连接

![image][image 9]

点击获取SQL查询语句，获取数据表

![image][image 10]

选择一个数据表后，会提示是否选择全部字段，选择是

![image][image 11]

![image][image 12]

点击确定，一个表输入就做好了。

#### 3.5 创建一个数据源输出 ####

> 如果是全表覆盖同步，则选择表输出，因为这里是需要根据主键判断是否重复，重复则更新，否则就插入，因此这里选择 插入/更新

展开输出节点，选择 插入/更新，并将其拖入到右侧图形界面中，然后将表输入连线到当前节点，按住shift+鼠标左键

> 这里如果不先连线的话，在配置映射字段时，就无法获取源表字段，需要自行输入

![image][image 13]

![image][image 14]

双击进行编辑

![image][image 15]

点击确定后，一个转换就完成了

![image][image 16]

点击左上角的运行按钮，即可执行同步了。

--------------------

Q1：这是一个单表转换，那如果需要一次同步多个表呢？

A1：那就继续按此步骤进行配置，多表转换配置完成后如下

![image][image 17]

Q2：那表数量很多，这么配置很费时间，有什么更好的办法么？

A2：有。可以编写脚本，正在学习中……

--------------------

Q3: 前面的转换已经配置完成了，但是只能手动点击运行，能否定时自动运行？

A3：可以。继续看第4节。

--------------------

### 4 定时服务 ###

选择文件–>新建–>作业，即可创建一个作业。

![image][image 18]

在作业窗口，选择`核心对象`,展开通用，选择Start、转换、成功，分别拖入图形界面中，并按顺序连线

![image][image 19]

双击转换就，进行编辑，选择转换文件

> 无论转换、还是作业，都是以xml文件形式保存在本地

![image][image 20]

此时一个作业即配置完成，但是注意，还没达到定时运行的目的，继续配置

双击`Start`，对作业进行配置

![image][image 21]

配置完后点击确定，然后点击图形界面的运行按钮，定时服务即启动了

![image][image 22]

在日志输出窗口，可看到服务运行日志

![image][image 23]

至此，pentaho的定时数据同步已完成。

--------------------

Q4: 定时服务开启后，这个程序窗口被关了或者说程序退出了，服务还运行吗？

A4：不会。由于是C/S模式，客户端服务端一体，进程退出即服务停止

--------------------

Q5：那有类似后台服务的方式，悄悄运行呢，不被这个界面退出所终止服务？

A5：有。请看第5节。

--------------------

### 5 以后台方式运行作业 ###

在介绍中提到，有个`Kitchen.bat/Kitchen.sh(厨房)`的执行文件，它的作用就是用命令方式调用作业。由于是在Windows平台，所以选择Kitchen.bat执行文件。

打开控制台窗口，进入`pentaho`安装目录，即`Kitchen.bat`所在目录，执行如下命令

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>kitchen /file:{job file path} /level:Basic&gt;&gt;{log file path}</code></td> 
  </tr> 
 </tbody> 
</table>

说明：

/file 参数指定 job文件

/level 参数指定日志级别，并写入指定的文件

指定日志文件后，控制台界面就不会输出日志，否则日志会在控制台输出，像下面这样

![image][image 24]

--------------------

Q6：总开着一个控制台黑框，也不太好，窗口被关了，服务不也停止了吗？有什么更好的方式吗？

A6：是的。有。可以隐藏掉黑窗口，那么继续往下看。

--------------------

#### 5.1 隐藏控制台窗口 ####

在Kitchen.bat同级目录下创建一个txt文本文件，输入如下内容

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>@echo off </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>if "%1" == "h" goto begin </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>mshta vbscript:createobject("wscript.shell").run("%~nx0 h",0)(window.close)&amp;&amp;exit </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>:begin</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>kitchen /file:"替换为job文件路径" /level:Basic&gt;&gt;"替换为日志文件路径"</code></td> 
  </tr> 
 </tbody> 
</table>

然后以`ANSI`编码方式另存为`.bat`文件。用ANSI编码，是防止文件路径有中文出现乱码。

至此，一个完成的`pentaho`定时数据同步作业服务就完成了。

[Pentaho Community Edition Download _ Hitachi Vantara]: https://www.hitachivantara.com/en-us/products/pentaho-platform/data-integration-analytics/pentaho-community-edition.html
[image]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f69a7bee8d114465a51adb5f37a64304.png
[image 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b49673727ed34390902c50d0cb555431.png
[image 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f33e858254ce4a289313850573fae97e.png
[image 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e046b4f3d20c4eac9a7d8e535df4c9e5.png
[image 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/11343a3cb8fa4e49af1279188b4955a3.png
[image 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/6f55ae764e84423ea5e38fdf1f701db4.png
[image 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/5b80a6ab0c784f70a1b3479f30b3c7c2.png
[image 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/a405b299359f4bacae4b131b0885a780.png
[image 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4e5337bebe494305bae6846d436534ba.png
[image 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f717f0a16d84439caaf8b2d69c9b71ae.png
[image 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/60bd6777e3444b8589cddbd34bdd357d.png
[image 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/16b4c20ad82b4e218e15ba9e32e30765.png
[image 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/05a0480c3f2d4a5aaa682ef0d12b00b1.png
[image 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/c760ff16953d4ec6bb2ff757211718c1.png
[image 14]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3c52b9a543ed4536800f06c13e639485.png
[image 15]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/87c8ab487d9a4e458228bb0141013d1a.png
[image 16]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/dc4849e0b5e040c0a480241d072e235d.png
[image 17]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/d668a1d34af64a44b85ab13fe7c309d0.png
[image 18]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4a149eb04505494fa1f3b7c4bd9248a4.png
[image 19]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/fe7d55ad3c474f52b5b57cf49a9fddc6.png
[image 20]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/39f8f458cdf946078324c88bf1c63bf3.png
[image 21]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/357a3c2d579e4e36b199005b4f627e0f.png
[image 22]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/75e5f1ae7a774d2dbbfa2caade194649.png
[image 23]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/217a2efbc88c4e3d9be57289da857b1c.png
[image 24]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/7d546dcf5f1241c3a9be485f2470c207.png