爬虫到底可以有多简单—python来告诉你

落日映苍穹つ 2023-02-20 02:27 5阅读 0赞

我们先来看看到底什么是爬虫  
[网络爬虫][Link 1]（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。  
以上是百度百科的说法。在我看来其实可以更简单，`人工访问网页—>代码程序访问`。  
先来看一下人是如何访问网页的：以访问百度搜索首页为例  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70]  
那要是用代码进行访问呢？

import requests
    content = requests.get("https://www.baidu.com/")

不带导入库，就一行代码，是不是感觉如此简单。（当然这里很多事情都是库来帮我们完成的，但那不要紧，我们不是会用库就行吗？我也时常感觉python的灵魂其实就是一行代码，`pip install …。哈哈…，有点扯远了。） 上面的那行代码虽然只做了一件事情：帮我们按下了Enter。虽然就这么简单的一件事情，我们却完成了一次跨越，一次伟大的跨越。那就是我们已经开启了爬虫的大门。`

到底行不行呢?还是我们在这里瞎扯淡呢，看看结果。

print(content.text)   //显示返回的文本内容

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 1]  
是不是，把我们看到的页面内容都给我展示出来了。  
就这样，我们就实现了自己的第一个爬虫，看看用python实现爬虫是多么的简单。  
作为入门我就感觉这就够了，我们就是要访问页面，看到返回就可以了。  
你可能会有疑惑，这和我们在页面中看到的不一样啊。页面中只显示了我们红色框内的文本，并没有这么多内容啊。  
因为我们在浏览器中看到的是一个漂亮的页面，那些我们不关心的文本就是为了渲染整个页面用的，不信的话，你使用chrome浏览器打开页面之后，右击检查。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 3]  
可以看到，其实内容还是蛮多的，内容跟我们使用程序访问的结果类似，都是包含了大量的文本信息。  
那我们怎么去除这些没有的格式文本信息，提取处我们想要的文本呢？  
且听下回分解。

[Link 1]: https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711?fr=aladdin
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200622102857105.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200622105449279.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020062211290475.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020062211201542.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy,size_16,color_FFFFFF,t_70