爬虫笔记--Requests库的应用（网页爬取）

冷不防 2021-09-22 16:28 368阅读 0赞

上次介绍了requests库的一些参数和函数，今天我给大家介绍一些requests库的小应用，所有学习都是基于《Python网络爬虫与信息提取》。

### 一、网页爬取框架 ###

对于requests这个库来说，最主要的功能就是进行网页的爬取，其实爬取的方式基本上都大致相同，所以在这里我们介绍一种网页爬取框架

#爬取网页通用代码框架
    import requests
    def getHTMLText(URL):
        try:
            r = requests.get(URL,timeout=30)
            #timeout设置一个返回时间
            # 如果在这个时间之内请求没有返回
            # 就返回一个TimeError
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            #将网页的编码实际分析值传递给猜测值
            return r.text
        except:
            return "产生异常"
    if __name__=="__main__":
        URL = "http://www.baidu.com"
        print(getHTMLText(URL)) # 打印爬取信息

这里运用异常处理是因为不是任何的网页的爬取都是能够成功的，所以为了避免各式各样的错误，所以我们添加异常处理来解决这个问题。运用这个框架我们就可以获取一些网页的信息，但是需要注意的是，不是所有网页都能爬取。

### 二、爬取网页的文件 ###

有时候我们需要获取网页上的一些东西可是又有没下载按钮时，可以试着用这种方法。

#爬取web网页的photo文件
    import requests
    import os # os库对计算机文件进行操作(主要用来判断文件是否存在和建立文件)
    url = "http://img0.dili360.com/pic/2018/09/26/5bab38dfd80333y53304453_t.jpg"
    root = "X://Get-web-photo//"
    path = root + url.split("/")[-1]
    #运用split函数对url进行切片,并用分割后的字符串列表的最后一个元素
    #这里这么操作可以得到文件的名字和后缀,配合OS库就能够完成文件的保存
    try:
        if not os.path.exists(root): #判断根目录是否存在，不存在就建立一个这样的根目录
            os.mkdir(root) #建立
        if not os.path.exists(path): #判断文件是否存在
            r = requests.get(url)
            with open (path,'wb') as f:#打开路径写入文件
                f.write(r.content)
                print("文件保存成功")
                f.close()
        else:
            print("文件已经存在")
    except:
        print("获取文件失败")

从与那里上来讲这种方法还可以获取其他文件，因为网页上的下载方式都是通过链接来进行操作的。

### 三、向网页提交搜索请求 ###

我们有时候会向网页提交一些，东西，大多是百度搜索（滑稽），我们会自然而然地想到网页搜索会不会有特定的提交方式。

我们来观察一下百度搜索是怎么提交关键字的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc5Nzk1_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc5Nzk1_size_16_color_FFFFFF_t_70 1][]

是不是找到什么规律了？

对，没错，实际上搜索就是一种提交方式，我们可以用这种方式来提交关键字进行搜索。

在这里我给大家一个例子，是关于IP地址归属地查询的代码，其实原理都是差不多，利用关键字+URL来进行提交网页，在获取网页的信息，就能够完成查询的操作了。

提交百度搜索也是一样的，你可以尝试着做一下。

import requests
    keyword = "111.227.147.21"
    try:
        kv = {'ip':keyword} # 构建键值对替换ip进行查询
        r = requests.get("http://m.ip138.com/ip.asp",params = kv)
        print(r.request.url) #打印出ip地址查询界面的url
        r.raise_for_status() # 错误返回函数
        print(len(r.text)) # 页面字节长度
        print(r.text[-500:]) # 打印页面后500个字节信息
    except:
        print("查询失败")

至此，几种关于requests的小应用都介绍给大家了，其实他们的原理都是相同的，都是利用requests库对URL进行一系列的操作来达到一定的目的。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc5Nzk1_size_16_color_FFFFFF_t_70]: /images/20210920/58f56e26513a4313b4c3bac5670217ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc5Nzk1_size_16_color_FFFFFF_t_70 1]: /images/20210920/13b929ab69c34426a7d9c0ec1111c222.png