2019年最新出搜索引擎蜘蛛网页爬虫大全

向右看齐 2023-06-07 08:15 23阅读 0赞

2019年最新出搜索引擎蜘蛛网页爬虫大全分享，各大seo引擎搜索的蜘蛛会一次又一次访问爬取我们站点的文章内容，也会耗费一定的站点流量；

有时候就必须屏蔽一些蜘蛛浏览我们的站点，文章尾部会讲解决方案；

掌握各大搜索引擎蜘蛛爬虫，对我们开展网站SEO优化具有挺大作用；作者搜集了各大搜索引擎的蜘蛛爬虫UA，便于你需要时查看。  
**1、百度蜘蛛：BaiduSpider**

常见的Baiduspider和Baiduspider-image（抓取图片）

百度公司还有其它几个蜘蛛：Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）、Baiduspider-mobile（抓取wap），都不常见

百度蜘蛛爬虫UA：

PC端：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +[http://www.baidu.com/search/spider.html)][http_www.baidu.com_search_spider.html]

移动端：Mozilla/5.0 (iPhone; CPU iPhone OS 9\_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +[http://www.baidu.com/search/spider.html)][http_www.baidu.com_search_spider.html]

图片：“Baiduspider-image+(+[http://www.baidu.com/search/spider.htm)][http_www.baidu.com_search_spider.htm]”

**2、谷歌蜘蛛：Googlebot**

有人说谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名称为Googlebot，还发现了Googlebot-Mobile，看名字是应该是抓取wap内容的

谷歌蜘蛛爬虫UA：“Mozilla/5.0 (compatible; Googlebot/2.1; +[http://www.google.com/bot.html)][http_www.google.com_bot.html]”

图片：“Googlebot-Image/1.0”

**3、360蜘蛛：360Spider**

它是一个十分“勤奋抓爬”的蜘蛛

360蜘蛛爬虫UA：Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

**4、搜狗蜘蛛：Sogou News Spider**

搜狗公司还有其它几个蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬镜在日志中只发现了常见的Sogou News Spider。（参考大神百度的robots文件，搜狗蜘蛛名称可以用Sogou概括，但有没有用就不知道了.）

搜狗蜘蛛爬虫UA：“Sogou web spider/4.0(+[http://www.sogou.com/docs/help/webmasters.htm\#07)][http_www.sogou.com_docs_help_webmasters.htm_07]”

**5、必应蜘蛛：bingbot**

必应蜘蛛爬虫UA：“Mozilla/5.0 (compatible; bingbot/2.0; +[http://www.bing.com/bingbot.htm)][http_www.bing.com_bingbot.htm]”

**6、SOSO蜘蛛：Sosospider**

腾讯已玩死，交给搜狗公司了

soso蜘蛛爬虫UA：“Sosospider+(+[http://help.soso.com/webspider.htm)][http_help.soso.com_webspider.htm]”

**7、雅虎蜘蛛：Yahoo! Slurp China（雅虎中国）或Yahoo! Slurp（雅虎英文）**

雅虎蜘蛛爬虫UA：

雅虎中国：“Mozilla/5.0 (compatible; Yahoo! Slurp China; [http://misc.yahoo.com.cn/help.html)][http_misc.yahoo.com.cn_help.html]”

雅虎英文：“Mozilla/5.0 (compatible; Yahoo! Slurp; [http://help.yahoo.com/help/us/ysearch/slurp)][http_help.yahoo.com_help_us_ysearch_slurp]”

**8、MSN蜘蛛：msnbot，msnbot-media**

好像只见到msnbot-media在狂爬……

MSN蜘蛛爬虫UA：

\*msnbot/1.0 (+[http://search.msn.com/msnbot.htm][http_search.msn.com_msnbot.htm]”)

**其它还有 一搜蜘蛛：YisouSpider、Alexa蜘蛛：ia\_archiver、宜搜蜘蛛：EasouSpider、即刻蜘蛛：JikeSpider，以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛，据说这几个国外的蜘蛛都不咋好**

搜索引擎蜘蛛名称

其实常用的搜索引擎就那么几个，只要在网站根目录robots.txt文件里把常用的搜索引擎蜘蛛放进来就行，其它的可以统统屏蔽掉了。

[http_www.baidu.com_search_spider.html]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fwww.baidu.com%2Fsearch%2Fspider.html%29
[http_www.baidu.com_search_spider.htm]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fwww.baidu.com%2Fsearch%2Fspider.htm%29
[http_www.google.com_bot.html]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fwww.google.com%2Fbot.html%29
[http_www.sogou.com_docs_help_webmasters.htm_07]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fwww.sogou.com%2Fdocs%2Fhelp%2Fwebmasters.htm%2307%29
[http_www.bing.com_bingbot.htm]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fwww.bing.com%2Fbingbot.htm%29
[http_help.soso.com_webspider.htm]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fhelp.soso.com%2Fwebspider.htm%29
[http_misc.yahoo.com.cn_help.html]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fmisc.yahoo.com.cn%2Fhelp.html%29
[http_help.yahoo.com_help_us_ysearch_slurp]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fhelp.yahoo.com%2Fhelp%2Fus%2Fysearch%2Fslurp%29
[http_search.msn.com_msnbot.htm]: https://yq.aliyun.com/go/articleRenderRedirect?url=http%3A%2F%2Fsearch.msn.com%2Fmsnbot.htm