Web-Harvest的简要介绍

痛定思痛。 2022-09-24 13:28 280阅读 0赞

**一、简述**

Web-Harvest 是一个用Java 写的开源的**Web 数据提取工具**。**它提供了一种从所需的页面上提取有用数据的方法。**为了达到这个目的，你可能需要用到如XSLT,XQuery,和正则表达式等操作text/xml 的相关技术。Web-Harvest 主要着眼于目前仍占大多数的基于HMLT/XML 的页面内容。另一方面，它也能通过写自己的Java 方法来轻易扩展其提取能力。

**Web-Harvest  的主要目的是加强现有数据提取技术的应用。**它的目标不是创造一种新方法，而是提供一种更好地使用和组合现有方法的方式。它提供了一个处理器集用于处理数据和控制流程，每一个处理器被看作是一个函数，它拥有参数和执行后同样有结果返回。而且处理是被组合成一个管道的形式，这样使得它们可以以链式的形式来执行，此外为了更易于数据操作和重用，Web-Harvest 还提供了变量上下方用于存储已经声明的变量。

**Web-Harvest的提取过程是用户通过基础XML配置文件的方式来定义的。**

一、**配置语言**

每个提取过程都被定义在一个或者多个基于XML的配置文件中，而且被描述为特定的XML元素。

二、**数据类型**

Web-Harvest有三种数据类型：text、list和binary。在大多数情况下Web-Harvest会自动决定利用哪种数据类型。

三、**处理器（xml标签元素）**

**config:配置文件的根元素**

**empty:包装执行序列并返回空值。被用在不在乎执行结果的情况下。**

**text:将嵌在该元素标签里的值转化成字符串。**

**var-def:定义或覆盖相同名字的变量**

**var:返回name属性里指定的变量的值，如果该变量还没有定义则会抛出异常。**

**file:其actio属性可以指定其读写属性，path指定读写文件的路径。**

**http:发送http请求到指定的URL,并获取返回结果。**

**html-to-xml:清除body里面的内容并把它转换成有效地XML。**

**xpath:****用****xpath****语言表达式去****XML****文档中匹配查找。**

**script:执行用指定脚本编写的代码。**

**template：用指定的脚本语言定义的变量来重新赋值给用$\{\}包含着的部分，如果没有在这里指定使用的脚本语言则会使用config里面设置的脚本语言.**

**loop:通过迭代list里面的每一项然后传到body里面执行，返回结果是body执行后得到的一个列表。**

**while:当条件为真时进入循环**

**function:声明一个用户自定义的函数**

**return：返回用户定义的值**

**call:调用用户定义的函数**

发表评论取消回复

表情：

评论列表（有 0 条评论，280人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis简要介绍

redis介绍 ![20200114103341746.png][] 计算向数据移动： memcache返回value的所有数据给客户端，需要客户端自己写代码去解码。另外

喜欢ヅ旅行/ 2023年10月07日 08:09/ 0 赞/ 39 阅读

相关 Transformer简要介绍

> 本篇整理 Transformer 架构，及在 Transformer 基础上衍生出来的 BERT 模型，最后给出 > 相应的应用案例。 1.Transformer的

﹏ヽ暗。殇╰゛Y/ 2023年07月12日 08:46/ 0 赞/ 59 阅读

相关 BERT简要介绍

> BERT(Bidirectional Encoder Representation from Transformers) 网络架构由 Jacob Devlin 等人提出用于

谁借莪１个温暖的怀抱￠/ 2023年07月12日 08:44/ 0 赞/ 98 阅读

相关 nsq简要介绍

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] nsq服务端 nsq服务包含三个主要部分：look

朴灿烈づ我的快乐病毒、/ 2022年10月01日 15:53/ 0 赞/ 215 阅读

相关 Web-Harvest的简要介绍

一、简述 Web-Harvest 是一个用Java 写的开源的Web 数据提取工具。它提供了一种从所需的页面上提取有用数据的方法。为了达到这个目的，你可能需要用到如XSLT,

痛定思痛。/ 2022年09月24日 13:28/ 0 赞/ 281 阅读

相关 Docker简要介绍

1、为什么Docker有价值为什么Docker这么有价值？在回答这个问题之前，我们先想一个相似的问题，为什么阿里巴巴这么有价值？传统的商业存在两大弊端：一是买卖双方

朱雀/ 2022年07月11日 07:35/ 0 赞/ 459 阅读

相关 python001 -- 简要介绍

之前对python仅是简单的了解，最近因为工作需要，系统学习一下python脚本，发现李振良的技术博客，深入浅出，转载一下，以备重复查看。 1.1 介绍 1.1.

桃扇骨/ 2022年06月15日 10:57/ 0 赞/ 290 阅读

相关 Lombok 简要介绍

背景最近因为项目使用到了lombok,然后自己做了一个PPT。总结了一部分知识。现在将PPT的内容抽取出来作为一篇博客。基本介绍 Lombok可以减少JOPO

柔情只为你懂/ 2022年05月14日 06:42/ 0 赞/ 278 阅读

相关 [Harbor]Harbor简要介绍

前一段时间写过一篇文章:[\[Kubernetes\]CentOS7下搭建Harbor仓库][Kubernetes_CentOS7_Harbor],只是知道了如何搭建,但是对于

傷城~/ 2022年04月08日 12:17/ 0 赞/ 297 阅读

相关 OpenGIS 简要介绍

OpenGIS定义了一组基于数据的服务，而数据的基础是要素（Feature）。所谓要素简单地说就是一个独立的对象，在地图中可能表现为一个多边形建筑物，在数据库中即

朴灿烈づ我的快乐病毒、/ 2021年09月29日 02:12/ 0 赞/ 468 阅读