反爬虫技术与搜索引擎的爬虫是矛盾的吗

墨蓝 2023-03-02 11:00 18阅读 0赞

突发奇想，既然反爬虫技术能够防止爬虫爬取自己网站的内容，那Google、百度等搜索引擎的蜘蛛怎么爬取网站内容呢？

在网站的根目录，通常会存放一个robots.txt，它就是爬虫协议：

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）——维基百科

例如以下这段代码，它允许百度爬取，不允许Google爬取：

User-agent: Baiduspider
    Disallow: 
    User-agent: Googlebot
    Disallow: /
    User-agent: *
    Disallow: 
    Disallow: /bin/
    Sitemap: http://domain.com/sitemap.xml

可以从[http://tool.chinaz.com/robots/][http_tool.chinaz.com_robots]生成robots.txt的文件内容

![20200729111731535.png][]

例如github，设置了不允许百度爬取，允许Google爬取，因此百度搜索不到github的内容，但是Google却可以

但无论如何，robots.txt只是一个约定，不存在强制性，爬虫就不一定会遵守。

搜索引擎的爬虫是善意的爬虫，互联网中一半以上的流量都是爬虫创造的，比如说12306的爬虫动辄刷新数万次。对于不遵守robots协议的爬虫，就需要反爬，如何反爬虫呢？

如上面的代码所示，网站可以通过爬虫的UserAgent识别出它是谁，进而进行访问过滤，但是UserAgent可以被伪造，无法单纯起到过滤恶意爬虫的效果。

反爬虫还可以通过IP限制、权限限制(如QQ空间仅好友可见)、频率限制(如访问频率过高则拒绝访问)、使用cookie、设置验证码/滑块等等策略实现。

所以反爬虫技术针对的是恶意爬虫，对于遵守robots协议的搜索引擎，不会进行限制

搜索引擎不遵守robots协议的典型案例：

*  BE违规抓取eBay
 *  360搜索无视robots协议

[http_tool.chinaz.com_robots]: http://tool.chinaz.com/robots/
[20200729111731535.png]: /images/20230208/5329701364554cab8457f785bbf5980d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫扩展——爬虫与反爬虫的恩怨情仇

目录一. 爬虫与防爬的斗争与环境二. 斗争的过程与发展总结爬虫文章专栏 -------------------- 一. 爬虫与防爬的斗争与环境 >

短命女/ 2023年09月29日 12:10/ 0 赞/ 67 阅读

相关不止是Cookie反爬虫

文章目录 Cookie反爬虫 Cookie反爬虫绕过实战 Cookie反爬虫原理和实现 Cookie与

╰半橙微兮°/ 2023年07月19日 04:46/ 0 赞/ 18 阅读

相关爬虫与反爬虫

文章目录一、爬虫 1.爬虫是什么？ 2.要学习爬虫怎么做？二、反爬虫 1.为什么要反爬虫？ 2.反什么

ゞ浴缸里的玫瑰/ 2023年07月08日 15:26/ 0 赞/ 4 阅读

相关反爬虫的概念与定义

文章目录爬虫流量是“垃圾流量” 主动型反爬虫和被动型反爬虫主动型反爬虫被动型反爬虫

朱雀/ 2023年05月28日 09:47/ 0 赞/ 112 阅读

相关反爬虫技术与搜索引擎的爬虫是矛盾的吗

突发奇想，既然反爬虫技术能够防止爬虫爬取自己网站的内容，那Google、百度等搜索引擎的蜘蛛怎么爬取网站内容呢？在网站的根目录，通常会存放一个robots.txt，它就是爬

墨蓝/ 2023年03月02日 11:00/ 0 赞/ 19 阅读

相关搜索引擎-网络爬虫

通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地形成互联网网页的镜像备份。它是搜索引擎

「爱情、让人受尽委屈。」/ 2022年05月30日 09:52/ 0 赞/ 305 阅读

相关爬虫是个非常大的搜索引擎

爬虫：按照一定的规则自动抓取网络信息，反爬虫：User\_Agent ，Referer,验证码单位时间访问次数，访问量的限制关键信息图片混淆异步加载爬取网页

- 日理万妓/ 2022年05月16日 11:15/ 0 赞/ 200 阅读

相关通过Nginx进行的爬虫反爬虫

[https://mp.weixin.qq.com/s/Y25\_TRrKmVlTMvPrQja\_cg][https_mp.weixin.qq.com_s_Y25_TRrKm

小鱼儿/ 2022年04月18日 00:46/ 0 赞/ 266 阅读

相关 scrapy爬虫与反爬虫

scrapy爬虫与反爬虫更多文章欢迎访问个人博客 [www.herobin.top][] 爬虫和反爬虫 > 爬虫：自动获取网站数据的程序，关键是批量的获取 >

曾经终败给现在/ 2022年03月22日 05:40/ 0 赞/ 412 阅读

相关爬虫与反爬

爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider)，这之间的斗争恢宏壮阔… Day 1 小莫想要某站上所有的电影，写了标

今天药忘吃喽~/ 2022年02月22日 10:52/ 0 赞/ 364 阅读