WebMagic的设计参考了业界最优秀的爬虫Scrapy

「爱情、让人受尽委屈。」 2022-03-31 08:14 197阅读 0赞

### http://webmagic.io/docs/zh/posts/ch1-overview/thinking.html ###

https://github.com/psvehla/liferay-spring-mvc-portlet

http://www.huqiwen.com/2012/08/30/liferay-6-1-development-study-1/

### .1 WebMagic的设计思想 ###

![logo][]

#### 1. 一个框架，一个领域 ####

一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。

如果你是爬虫开发老手，那么WebMagic会非常容易上手，它几乎使用Java原生的开发方式，只不过提供了一些模块化的约束，封装一些繁琐的操作，并且提供了一些便捷的功能。

如果你是爬虫开发新手，那么使用并了解WebMagic会让你了解爬虫开发的常用模式、工具链、以及一些问题的处理方式。熟练使用之后，相信自己从头开发一个爬虫也不是什么难事。

因为这个目标，WebMagic的核心非常简单——在这里，功能性是要给简单性让步的。

#### 2. 微内核和高可扩展性 ####

WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成，核心代码非常简单，主要是将这些组件结合并完成多线程的任务。这意味着，在WebMagic中，你基本上可以对爬虫的功能做任何定制。

WebMagic的核心在webmagic-core包中，其他的包你可以理解为对WebMagic的一个扩展——这和作为用户编写一个扩展是没有什么区别的。

#### 3. 注重实用性 ####

虽然核心需要足够简单，但是WebMagic也以扩展的方式，实现了很多可以帮助开发的便捷功能。例如基于注解模式的爬虫开发，以及扩展了XPath语法的Xsoup等。这些功能在WebMagic中是可选的，它们的开发目标，就是让使用者开发爬虫尽可能的简单，尽可能的易维护。

[logo]: https://raw.github.com/code4craft/webmagic/master/assets/logo.jpg

发表评论取消回复

表情：

评论列表（有 0 条评论，197人围观）

还没有评论，来说两句吧...

相关阅读

相关业界通用的关系性数据库整理

含义关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询

电玩女神/ 2022年12月17日 01:19/ 0 赞/ 198 阅读

相关云计算业界典型的软件

salesforce.com 云计算客户关系管理系统--CRM 注册可以免费使用30天，当前的一个注册：[pchj\_red@163.com][pchj_red_163.c

超、凢脫俗/ 2022年09月28日 15:20/ 0 赞/ 222 阅读

相关业界网站地址

npm [http://npmjs.org][http_npmjs.org] github [https://github.com/][https_github

àì夳堔傛蜴生んèń/ 2022年09月18日 14:56/ 0 赞/ 240 阅读

相关 WebMagic/JMX&爬虫监控

WebMagic使用JMX实现了对爬虫的监控，可以通过Jconsole等JMX工具查看本地或者远程的爬虫信息。为爬虫添加监控：获取一个SpiderMonitor的实例S

女爷i/ 2022年08月03日 05:21/ 0 赞/ 294 阅读

相关基于WebMagic爬虫

基于WebMagic爬虫一、WebMagic简介 > WebMagic是一个简单灵活的爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。 >

╰半橙微兮°/ 2022年07月15日 14:07/ 0 赞/ 292 阅读

相关 WebMagic 爬虫框架的入门使用

代码： package test; import us.codecraft.webmagic.Page; import us.codecr

朴灿烈づ我的快乐病毒、/ 2022年06月12日 10:52/ 0 赞/ 298 阅读

相关 Webmagic网络爬虫（JAVA）

Webmagic网络爬虫（JAVA） Webmagic----JAVA爬虫框架。 [跳转至使用说明][Link 1] [Link 1]: http

旧城等待，/ 2022年06月03日 04:29/ 0 赞/ 344 阅读

相关 webmagic 爬虫

[https://blog.csdn.net/qq598535550/article/details/51287630][https_blog.csdn.net_qq59853

待我称王封你为后i/ 2022年04月23日 12:38/ 0 赞/ 344 阅读

相关 WebMagic的设计参考了业界最优秀的爬虫Scrapy

http://webmagic.io/docs/zh/posts/ch1-overview/thinking.html https://github.com/psvehl

「爱情、让人受尽委屈。」/ 2022年03月31日 08:14/ 0 赞/ 198 阅读

相关黑客业界第一炮

作者：WinKyBanJeam 本文声明: 　　1. 本人不算技术型黑客,只是在业界混了一段时间,结识了诸多的技术牛人而已,所以大家有什么技术问题不要问我. 　　2.

不念不忘少年蓝@/ 2021年11月04日 20:26/ 0 赞/ 378 阅读