Python：从概念上了解爬虫What？Why？How？Who？（通俗易懂+详精版）

向右看齐 2022-12-18 11:58 10阅读 0赞

## 前言 ##

“从前，在互联网里，有一条胃口很大又很勤奋的虫子，一直爬呀爬爬呀爬...”  爬虫：“giao~!，这说的不就是我吗？”

![bbb07494afcdbfe921bd7a15c4ac6a13.png][]

**本章爬虫小目录**

一、什么是爬虫

二、为什么需要爬虫

三、爬虫怎么抓取网页数据

四、只有Python能搞爬虫？

五、爬虫的分类

--------------------

## 一、什么是爬虫 ##

**爬虫：**就是抓取网页数据的程序。搜索引擎的底层其实就是爬虫。  
[百度百科：网络爬虫][Link 1]

关于Python爬虫，我们需要学习的有：

1.  Python基础语法学习（基础知识）
2.  HTML页面的内容抓取（数据抓取）
3.  HTML页面的数据提取（数据清洗）
4.  Scrapy框架以及scrapy-redis分布式策略（第三方框架）
5.  爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争....

--------------------

## 二、为什么需要爬虫 ##

我们先来考虑一个问题，移动互联网时代已经过去了，现在IOS和安卓的行情，大数据时代，那一直在说大数据大数据，那么所谓的"大数据时代"，数据获取的方式有哪几种？  
百度搜、淘宝买这个是我们一下子可以想到的方式，那么我们统计下都有哪些方式？

1.  **企业生产的用户数据**：大型互联网公司有海量用户，所以他们积累数据有天然的优势。有数据意识的中小型企业，也开始积累的数据。（[百度指数][Link 2] [阿里指数][Link 3] [新浪微博指数][Link 4]）
2.  **数据管理咨询公司数据**：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测，和各行各业的公司进行合作、专家对话（数据积累很多年了，最后得出科研结果）来采集数据。（[麦肯锡][Link 5] [艾瑞咨询][Link 6]）
3.  **政府/机构提供的公开数据**：政府通过各地政府统计上报的数据进行合并；机构都是权威的第三方网站。（[中华人民共和国国家统计局数据][Link 7] [世界银行公开数据][Link 8] [联合国数据][Link 9]）
4.  **第三方数据平台购买数据**：通过各个数据交易平台来购买各行各业需要的数据，根据获取难度不同，价格也会不同。（[数据堂][Link 10] [国云数据市场][Link 11]）中国做大数据比较多的一个省就是贵阳，地理优势，贵阳大数据交易所
5.  **爬虫爬取数据**：如果市场上没有我们需要的数据，或者价格太高不愿意买，那么就可以招/做一个爬虫工程师，从互联网上定向采集数据。（[拉勾网上招聘爬虫工程师][Link 12]）

--------------------

## 三、爬虫怎么抓取网页数据 ##

我们平时通过浏览器打开的任意一个网页，其实都有以下三大通用特征。

**网页三大特征：**

1.  网页都有自己唯一的URL（统一资源定位符）来进行定位
2.  网页都使用HTML （超文本标记语言）来描述页面信息。
3.  网页都使用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。

**爬虫的设计思路：**

1.  首先确定需要爬取的网页URL地址。
2.  通过HTTP/HTTP协议来获取对应的HTML页面。
3.  提取HTML页面里有用的数据：如果是需要的数据，就保存起来。 如果是页面里的其他URL，那就继续执行第二步。

--------------------

## 四、只有Python能搞爬虫 ##

首先要纠正下，不管是所谓的大数据分析还是爬虫其他编程语言同样可以实现，如 PHP、Java、C/C++、Python等等..

那么为什么我们要选择python来进行实现，我们首先对比下这几个语言

1.  **PHP** 虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好，并发处理能力很弱，爬虫是工具性程序，对速度和效率要求比较高。
2.  **Java** 的网络爬虫生态圈也很完善，是Python爬虫最大的对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改都会导致代码的大量变动。爬虫经常需要修改部分采集代码。
3.  **C/C++** 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢。能用C/C++做爬虫，只能说是能力的表现，但是不是正确的选择，大材小用。
4.  **Python** 语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富。还有强大的爬虫Scrapy，以及成熟高效的 scrapy-redis分布式策略。而且，调用其他借口也非常方便（胶水语言）

--------------------

## 五、爬虫的分类 ##

根据使用场景：分为 通用爬虫 聚焦爬虫

**一、通用爬虫：搜索引擎用的爬虫系统。**

**目标：**就是尽可能把互联网上所有的网页下载下来，放到本地服务器里形成备份，再对这些网页做相关处理（提取关键字、去掉广告），最后提供一个用户检索接口

**抓取流程：**  
1.首选选取一部分已有的URL，把这些URL放到待爬取队列。  
2.从队列里取出这些URL，然后解析DNS得到主机IP，然后去这个IP对应的服务器里下载HTML页面，保存到搜索引擎的本地服务器。之后把这个爬过的URL放入已爬取队列。  
3.分析这些网页内容，找出网页里其他的URL连接，继续执行第二步，直到爬取条件结束。  
![图片描述][8fe7755beed589de1b18f4ee51a48150.png]

**搜索引擎如何获取一个新网站的URL**  
1.主动向搜索引擎提交网址：（如百度[http://zhanzhang.baidu.com/li...][http_zhanzhang.baidu.com_li...]）  
2.在其他网站里设置网站的外链。  
3.搜索引擎会和DNS服务商进行合作，可以快速收录新的网站。(DNS：就是把域名解析成IP的一种技术。)  
比如你在cmd pin www.baidu.com就会得到百度的IP，直接在浏览器里面输入IP通用可以访问到百度

**通用爬虫并不是万物皆可爬，它也需要遵守规则：**  
Robots协议：协议会指明通用爬虫可以爬取网页的权限。  
Robots.txt 只是一个建议。并不是所有爬虫都遵守，一般只有大型的搜索引擎爬虫才会遵守。咱们个人写的爬虫，就不管了。就像公交车上老弱病残孕专座一样。

这里简单介绍下Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，例如：  
淘宝网：[https://www.taobao.com/robots...][https_www.taobao.com_robots...]  
腾讯网： [http://www.qq.com/robots.txt][http_www.qq.com_robots.txt]

**通用爬虫工作流程**：爬取网页 - 存储数据 - 内容处理 - 提供检索/排名服务

**搜索引擎排名：**  
1.PageRank值：根据网站的流量（点击量/浏览量/人气）统计，流量越高，网站也越值钱，排名越靠前。  
2.竞价排名：谁给钱多，谁排名就高。

**通用爬虫的缺点**  
1.通用搜索引擎所返回的结果都是网页，而大多情况下，网页里90%的内容对用户来说都是无用的。  
2.不同领域、不同背景的用户往往具有不同的检索目的和需求，搜索引擎无法提供针对具体某个用户的搜索结果。  
3.万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎对这些文件无能为力，不能很好地发现和获取。  
4.通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求。  
为了解决这个问题，聚焦爬虫出现了

**二、聚焦爬虫：爬虫程序员写的针对某种内容的爬虫。**  
面向主题爬虫，面向需求爬虫：会针对某种特定的内容去爬取信息，而且会保证信息和需求尽可能相关。而我们后面要学习的，就是聚焦爬虫。

# #

**‘好啦，爬虫介绍完毕啦，关于爬虫所需要掌握用到的技术介绍可以查阅下面这篇文章喲(＾Ｕ＾)ノ~ＹＯ感谢查看与支持啦，加油！’。。**

爬虫：“掌握我，你需要掌握这些技术哦”[https://blog.csdn.net/weixin\_44015669/article/details/109298490][https_blog.csdn.net_weixin_44015669_article_details_109298490]

**（附：**什么是网络爬虫？有哪些作用？如何构建？[https://blog.csdn.net/weixin\_44015669/article/details/104133210][https_blog.csdn.net_weixin_44015669_article_details_104133210]**）**

[bbb07494afcdbfe921bd7a15c4ac6a13.png]: /images/20221122/a55585a5e85a49d3b701546acfce72e2.png
[Link 1]: https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB
[Link 2]: http://index.baidu.com/
[Link 3]: https://alizs.taobao.com/
[Link 4]: http://data.weibo.com/index
[Link 5]: http://www.mckinsey.com.cn/
[Link 6]: http://www.iresearch.com.cn/
[Link 7]: http://data.stats.gov.cn/index.htm
[Link 8]: http://data.worldbank.org.cn/
[Link 9]: http://data.un.org/
[Link 10]: http://www.datatang.com/about/about-us.html
[Link 11]: http://www.moojnn.com/data-market/
[Link 12]: https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB
[8fe7755beed589de1b18f4ee51a48150.png]: /images/20221122/1b3b0b73afdc4bd694604b47919fb917.png
[http_zhanzhang.baidu.com_li...]: http://zhanzhang.baidu.com/linksubmit/url
[https_www.taobao.com_robots...]: https://www.taobao.com/robots.txt
[http_www.qq.com_robots.txt]: http://www.qq.com/robots.txt
[https_blog.csdn.net_weixin_44015669_article_details_109298490]: https://blog.csdn.net/weixin_44015669/article/details/109298490
[https_blog.csdn.net_weixin_44015669_article_details_104133210]: https://blog.csdn.net/weixin_44015669/article/details/104133210