Python进阶学习（一）网络爬虫

﹏ヽ暗。殇╰゛Y 2022-03-22 18:24 324阅读 0赞

## Python进阶学习（一）网络爬虫 ##

网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。  
网络蜘蛛是通过网页的链接地址来寻找网页的。网络爬虫的基本操作是抓取网页。

当然学习网络爬虫之前最好先学习相关的网页知识会帮助大家更好的理解  如：html、css。。。。等等

下面来学习基本的网络爬虫小知识

1、让浏览器打开一个网页

import webbrowser
    webbrowser.open('http://www.baidu.com')

2、下载网页信息并保存到本地

requests模块  先打开命令框输入pip install requests安装

import requests
    
    res = requests.get('http://www.baidu.com')
    res.raise_for_status()
    if res.status_code == requests.codes.ok :
        print('访问正常')
        print(res.text[:]) ##捕捉网页源代码
        file = open('d:\\Py\\s.txt','wb') #以二进制写入
        for i in res.iter_content(100000):
            file.write(i)
        file.close()

\---------------------------至此我们就可以对下载下来的数据进行处理-----------------------------------

但是这样处理数据  是很吃力的一件事................那怎么办呢？

## 下面引入BeautifulSoup模块来更好的解析网页 而且可直接提取数据 ##

1、安装BeautifulSoup模块  在命令框中输入命令pip install beautifulSoup4

2、爬取网页数据

import requests,bs4
    res = requests.get('http://www.baidu.com')
    res.raise_for_status()
    soup = bs4.BeautifulSoup(res.text)
    print(soup)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70][]

3、提取数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70 1][]

方法汇总：[https://blog.csdn.net/qq\_41686130/article/details/79856474][https_blog.csdn.net_qq_41686130_article_details_79856474]

\------------------------------------------------到这里对网页的数据处理是不是简单了许多----------------------------------------------

但是这样还不是非常简便，而且对一些网页进行异步处理的内容无法获取.....

下面引入一个更牛逼的Selenuim模块可以更好的操控浏览器获取数据也是目前主流的用法

## Selenuim模块 ##

1、安装 请参考[https://segmentfault.com/a/1190000007249396][https_segmentfault.com_a_1190000007249396]

2、Selenuim可以操控火狐、谷歌、ie浏览器 这里以火狐为例

from selenium import webdriver  #引入模块
    browser = webdriver.Firefox()  #打开火狐浏览器
    browser.get('http://www.baidu.com') #打开百度

3、数据提取

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70 3][]

具体操作[https://blog.csdn.net/qq\_29186489/article/details/78661008][https_blog.csdn.net_qq_29186489_article_details_78661008]

## 好啦写了这么多，还不如来个例子说明更直观---**批量删除微博** ##

因篇幅问题  下篇博客见啦。。。。。。。[https://mp.csdn.net/postedit/86692753][https_mp.csdn.net_postedit_86692753]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70]: /images/20220322/fb67ae2a32514c33b9791670019df394.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70 1]: /images/20220322/44f00602575c438084da0bcae1dc7cef.png
[https_blog.csdn.net_qq_41686130_article_details_79856474]: https://blog.csdn.net/qq_41686130/article/details/79856474
[https_segmentfault.com_a_1190000007249396]: https://segmentfault.com/a/1190000007249396
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70 2]: /images/20220322/128c28117db94e0f97666e0ed995273f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtMTYxMTE_size_16_color_FFFFFF_t_70 3]: /images/20220322/747e6e490f144120abf5de0fbb691bc5.png
[https_blog.csdn.net_qq_29186489_article_details_78661008]: https://blog.csdn.net/qq_29186489/article/details/78661008
[https_mp.csdn.net_postedit_86692753]: https://mp.csdn.net/postedit/86692753