通过Kettle工具解析Json接口数据并且保存到数据库中的详细操作

た入场券 2021-09-25 07:50 4984阅读 1赞

最近接到一个业务需求，要把一个Json接口数据获取下来并且保存到数据库中，考虑到应用代码实现功能需要耗费一定时间和精力，效率不高，于是就选择利用Kettle工具来实现这个业务功能，它的整体设计结构图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70]  
**说明：**  
生成记录：用于生成接口链接转化为一个文本字段，提供给所有步骤进行使用；  
REST client：用于获取接口数据，形成一个Json文档结果集，并且在之后的步骤进行使用；  
JSON input：用于解析json文档结果集，将json数据拆分成一个一个单独的字段；  
表输出：用于将数据集的内容保存到数据库中；  
JSON output：用于输出Json文档结果集，并且形成一个json或者txt等格式的文档；

上述图的“**JSON output**”步骤为**额外步骤**，主要是用于测试该模型是否能获取到接口数据，并且将数据进行正确地解析最后再利用。如果读者有添加到该步骤，可以用鼠标点击这个步骤的连线，将其**变为灰色**就不会执行该步骤。下面开始详细分析：

**（一）获取接口链接的数据集**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 1]  
**①生成记录**：在kettle工具的输入->生成记录进行创建的，其具体填写内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 3]

**说明**：  
限制：此处设置为1，是为了避免同一条链接会生成多个url结果，导致最终输出的结果有大量重复数据；  
字段：将想要解析的接口链接填写到第一栏，并且填写任意名称（只要能标识当前接口链接即可）；

**②REST client**：它在kettle工具的查询->REST client进行创建:，其具体填写内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 5]  
**说明**：  
       按照图中勾选Accept URL from field，然后在URL field name中选择“生成记录”步骤所创建的字段“url”，默认请求方式为GET，并且设置结果集的名称为“result”。

**值得注意的是** ，参照网上很多例子，大部分文章写的都是**没有**“生成记录”这个步骤，而是直接是创建“REST client”步骤获取接口数据，其填写内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 7]

即将接口链接直接放到“REST client”步骤进行获取，笔者亲测发现一直**获取不到**接口数据，这个有可能跟kettle版本有关，此处一笔带过，不具体分析。

**（二）解析Json数据**  
![在这里插入图片描述][20210513102036520.png]  
       解析Json数据主要是用到“JSON input”这个步骤，该步骤是在输入->JSON input进行创建的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 8]  
       当然，在编写该步骤之前，我们首先得知道这个接口链接所得到的的Json数据是什么格式，我们需要拿到这个接口的什么数据，本文的接口数据如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 9]  
       通过上图的数据格式，我需要拿到的数据是接口数据里面data的结果集，于是“JSON output”步骤里面要填写的内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 11]

**说明**：  
       第一步，首先按照图示勾选“元定义在一个字段里”，然后在下方选择“REST client”步骤所定义的Json文档结果集。第二步，在“字段”这个窗口填写需要解析的字段内容，此处需要注意的是**路径的填写**，使用：

$..result

来获取json文档结果集。从本文的接口图可以看到，我们需要获取结果集的data属性，并且遍历data属性里面的数组对象数据，因此使用：

$..result.data[*]

最后再通过：

$..result.data[*].level

的方式获取遍历对象里面的属性值。

**（三）保存到数据库**  
![在这里插入图片描述][20210513105117532.png]  
该步骤是在输出->表输出中进行创建的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 12]  
其填写内容如下所示：  
       首先点击“新建”，找到需要保存的数据库类型，填写相关的数据库连接信息，然后测试一下数据库连接是否正常。如果为正常，则点击确认，继续操作下一步。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 13]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 14]  
       接下来选择目标表，并且将数据库表字段如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 16]  
       最后，点击运行即可。

假如获取的数据为空，请检查一下**接口是否请求正常**、**是否需要设置Cookie或者token值**、"JSON input"步骤填写的变量是否正确等，具体设置参数可以在“**生成记录**”步骤添加参数，然后在“REST client”步骤中的相关位置添加就行：如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 17]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 18]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 19]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70]: /images/20210923/6c758e9228ba4599958ea0334fe968be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 1]: /images/20210923/62260ffb347b4ee0b22f52ef3e71586f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 2]: /images/20210923/b75a856a4fab4862ae4c60377230f174.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 3]: /images/20210923/f1bfce987eb542b2a55dae6e9c8320bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 4]: /images/20210923/16726e9cba424d7cac94b42fa0c5e05e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 5]: /images/20210923/1d44000868a94d449ff3ca7aa33d23db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 6]: /images/20210923/07c53ce54ee94118ac4bfe99c49bfd95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 7]: /images/20210923/afa2a959f83c4919afc1713c34c2d9b7.png
[20210513102036520.png]: /images/20210923/b12bad4c8db64d15adfd5cf4ad240659.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 8]: /images/20210923/9ac77b8ef2e84adaa2f1699c81c4f2d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 9]: /images/20210923/b6c2fbb887214b9e80f43f5d38bb8138.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 10]: /images/20210923/80345c5bd28a4a13aa6ed8876507a186.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 11]: /images/20210923/a9e3513214f746a9beb67cc3a4fd0ebc.png
[20210513105117532.png]: /images/20210923/41e38ca7e94b435fb69a8335a7c2ad5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 12]: /images/20210923/80df0dd7c03243ff9a2f4c44aac68818.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 13]: /images/20210923/5cd0598ae26140c3be719723ced6e330.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 14]: /images/20210923/9fa6d2e4b95542d08814f08a1adf4a2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 15]: /images/20210923/3a1b1dd282ff405b9c778f4935e7dc8a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 16]: /images/20210923/d6c64bafbea8459caaddccd841f5c673.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 17]: /images/20210923/50237f3d408244a7b8b7ab6aa6bfcfc1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 18]: /images/20210923/310dfbb0a85f4a408a5bc5da812e3d74.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Z3VveGluZzEyMw_size_16_color_FFFFFF_t_70 19]: /images/20210923/b7da1a01cf234255942bbac28f3f7a5e.png