通用爬虫的概念简述

Love The Way You Lie 2024-04-17 11:41 73阅读 0赞

## 一、?什么是通用爬虫 ##

通用爬虫（General Purpose Web Crawler或Scalable Web Crawler）是一种网络爬虫，其设计目标是对整个互联网或尽可能广泛的网络空间进行数据抓取。通用爬虫主要用于搜索引擎构建其庞大的网页索引数据库，从互联网中自动爬取、下载网页内容，形成网页的海量集合，以便后续对这些数据进行索引、存储和搜索。  
![在这里插入图片描述][7704e56881574275a39af3f471e5a9da.png]

通用网络爬虫是搜索引擎抓取系统（Baidu、Google、Yahoo等)重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

通用搜索引擎（Search Engine）工作原理

通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。

--------------------

## 二、?特点 ##

1.  **全面性**：起始点通常是少数几个种子URL，然后通过跟踪网页上的超链接逐渐扩展到整个互联网。
2.  **大规模**：能够处理数以亿计的网页，并持续不断地更新和增加新的网页数据。
3.  **高效性**：采用高效的爬取策略，例如广度优先搜索、深度优先搜索或是更复杂的启发式算法，以最合理的方式遍历互联网。
4.  **自我更新**：定期重新抓取网页以更新索引内容，对于高权重或频繁更新的网站可能会更频繁地抓取。
5.  **策略调整**：根据网站的robots.txt协议以及爬虫道德规范，控制抓取速度和频率，避免给网站服务器带来过大压力。
6.  **分布式架构**：由于要处理的数据量极其庞大，往往采用分布式计算架构，实现多线程或多机并行爬取。

--------------------

搜索引擎网络爬虫的基本工作流程如下：

1.  首先选取一部分的种子URL，将这些URL放入待抓取URl队列；
2.  取出待抓取URL，解析DNS得到主机IP，并将URL对应的网页下载下来，存储进已下载网页中，并将这些URL放进抓取URL队列
3.  分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环……

搜索引擎如何获取一个新网站的URL：

1.  新网站向搜索引擎主动提交网址：（如百度http://zhanzhang.baidu.com/linksubmit/url)
2.  在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围）
3.  搜索引擎和DNS解析服务商（如：DNSpod等）合作，新网站域名将被迅速抓取。

![在这里插入图片描述][0c115ecf48d0407aa9a1c7673f73660b.png]

--------------------

## 三、?步骤 ##

1.  **定义抓取目标与范围**：
    
     *  明确爬虫的目的，即需要从哪些网站或什么样的网页中获取什么类型的数据。
     *  设定抓取的深度限制，比如是否仅抓取特定层级的链接，还是全网爬取。
2.  **制定抓取策略**：
    
     *  确定爬虫的起始URL列表，也就是所谓的“种子”URL。
     *  制定URL发现规则，比如通过HTML中的`<a>`标签提取链接，或者根据网站的结构决定抓取路径。
     *  设定抓取频率、延迟以及其他策略，以遵守网站的robots.txt协议和尊重网站服务器的资源。
3.  **发送HTTP请求**：
    
     *  使用HTTP客户端库（如Python的Requests库）向目标URL发送GET或POST请求。
     *  根据需要配置请求头，模拟浏览器行为，包括User-Agent、Cookies、Referer等，以降低被目标网站识别为爬虫的风险。
     *  可能还需要使用代理IP或其他手段来绕过访问限制。
4.  **接收和解析响应**：
    
     *  接收服务器返回的HTTP响应，获取网页内容。
     *  使用HTML或XML解析器（如BeautifulSoup、lxml、PyQuery或基于DOM的解析方式）解析网页结构。
     *  对于非HTML内容，可能需要相应的内容解析方法，如JSON、XML等。
5.  **提取数据**：
    
     *  根据预先设定好的规则，从网页内容中提取有用数据，例如文本、图片、链接或者其他特定元素。
     *  可能需要用到CSS选择器、XPath或其他模式匹配技术。
6.  **URL管理与调度**：
    
     *  将解析得到的新URL添加到URL队列中，等待爬取。
     *  实现URL去重，避免爬取已访问过的网页。
     *  根据策略从队列中取出URL进行下一步抓取。
7.  **数据存储**：
    
     *  将爬取的数据储存到本地文件、数据库或者云端存储服务。
     *  数据可能需要清洗、转换或结构化以便后续分析和使用。
8.  **监控与终止条件**：
    
     *  设置适当的爬虫运行监控，包括错误处理、性能监控及资源占用情况。
     *  定义停止抓取的条件，比如达到预定抓取数量、抓取时间限制、磁盘空间不足等。
9.  **循环迭代**：
    
     *  持续从URL队列中获取新的URL进行抓取，直至满足停止条件。

![在这里插入图片描述][4b52ba6d1a5e49eb918e25023d6a138c.png]

[7704e56881574275a39af3f471e5a9da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/df40045c0d90437589893a80d6eb8eaf.png
[0c115ecf48d0407aa9a1c7673f73660b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/8f9310a11c8a42299ce79182fc162dff.png
[4b52ba6d1a5e49eb918e25023d6a138c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/138613f31dda41edbf0a0ce486e842f5.png