PJzhang:robots协议的实际场景

快来打我* 2021-12-11 11:19 323阅读 0赞

猫宁！！！

参考链接：

https://bbs.360.cn/thread-15062960-1-1.html

https://ziyuan.baidu.com/college/courseinfo?id=150

看到robots这个关键词，先了解一下它的定义，如下是百度百科介绍：

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

展示一个robots.txt使用的例子：

https://cn.bing.com/robots.txt，这是必应搜索的robots.txt文件，节取其中一部分。

User-agent: msnbot-media

Disallow: /

Allow: /th?

User-agent: Twitterbot

Disallow:

User-agent: \*

Disallow: /account/

Disallow: /amp/

Disallow: /bfp/search

Disallow: /bing-site-safety

Disallow: /blogs/search/

Disallow: /entities/search

Disallow: /fd/

Disallow: /history

Disallow: /hotels/search

Disallow: /images?

Disallow: /images/search?

Disallow: /images/search/?

Sitemap: http://cn.bing.com/dict/sitemap-index.xml

只有当网站运营者不想让一些网页被搜索引擎收录，才会采用robots.txt，否则表示默认全站都可以被搜索引擎爬取收录了。

robots.txt文件放于根目录，内容可包含多条记录，中间用空行分割，如果robots.txt中什么都没有，表示全站可以爬取。

**User-agent: \***，表示针对所有爬虫。

**User-agent: Twitterbot**，表示针对Twitterbot这一种爬虫。

**Disallow: /bfp/search**，表示爬虫不能访问以/bfp/search开头的所有url页面，例如/bfp/search/abc.html，/bfp/searchabc.html等等，当然直接不允许对方访问某一个特定的url也是可以的。

**Allow: /bfp/search/vip**，表示爬虫可以访问/bfp/search/vip开头的所有url页面。

**Sitemap: http://cn.bing.com/dict/sitemap-index.xml，**告知爬虫这个文件是站点地图

Allow和Disallow结合使用，灵活掌握爬虫所访问的页面内容，不至于导致一刀切的局面。

**这里严格区分字母的大小写。**

**\*，星号表示0个及以上字符。**

**$，美元符号表示结束符。**

这两个都是通配符

**禁止所有搜索引擎访问网站的任何目录。**

User-agent: \*

Disallow: /

**允许所有的搜索引擎访问网站的任何目录**

User-agent: \*

Allow: /

**禁止百度访问网站的任何目录**

User-agent: Baiduspider

Disallow: /

**仅允许百度访问网站的任何目录**

User-agent: Baiduspider

Allow: /

**禁止访问/abc/开头下的目录，但是其中的html后缀文件除外**

User-agent: \*

Disallow: /abc/

Allow:/abc/\*.html$

**禁止访问网站中的所有动态页面，注意字符全都是英文字符**

User-agent: \*

Disallow: /\*?\*

以上的都是一些基本的解释说明，可以通过查看知名站点的robots.txt文件，了解对方不想要让搜索引擎抓取的路径，对于渗透测试有时会有新的发现或启发。

http://www.dianping.com/robots.txt，能看出来大众点评不希望所有的爬虫爬取其中的7个目录，例如优惠券、图片、账户等等，但绝对禁止爱帮网（聚合本地生活信息）和口碑网（阿里巴巴旗下生活信息平台）这两家的爬虫爬取任何大众点评域名www.dianping.com上的东西。

全部内容

User-agent: \*

Disallow: /coupon/

Disallow: /events/

Disallow: /thirdconnect/

Disallow: /member/

Disallow: /album/

Disallow: /dplab/

User-agent: www.aibang.com Disallow: /

User-agent: aibang.com Disallow: /

User-agent: aibang Disallow: /

User-agent: aibangspider Disallow: /

User-agent: aibang-spider Disallow: /

User-agent: aibangbot Disallow: /

User-agent: aibang-bot Disallow: /

User-agent: koubeispider Disallow: /

User-agent: koubei.com Disallow: /

**认真解读一家站点的robots.txt，也许可以看到互联网江湖的一些刀光剑影的余晖。**

转载于:https://www.cnblogs.com/landesk/p/10984431.html

PJzhang:robots协议的实际场景

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关网络通信协议：TCP协议的应用场景和特点

相关项目实际场景中的SQL优化

相关 Dubbo协议支持哪些协议？应用场景？

相关 redis 实际场景中的使用

相关在实际业务场景下的异常处理

相关 Redis的实际使用场景和Memcached

相关线程池的实际应用场景

相关 Netty实际场景运用

相关 PJzhang:robots协议的实际场景

相关 git实际应用场景