python爬虫-1.02urllib.request原理及使用

一时失言乱红尘 2022-08-29 10:52 12阅读 0赞

### 请求模块–rullib.request ###

程序导入方式：

-- import  urllib.request
    -- from urllib import request

**作用**

像网站发请求，模仿我们平时在浏览器输入地址访问网站一样
    
    **urllib.request.urlopen()方法**
    **urlopen()**
    作用：像网站发起请求并获取响应对象
    **参数**
    URL：需要爬取的URL地址
    timeout：设置等待超时时间，指定时间内未响应，抛出超时异常

"""
    向百度发起请求，并获取百度的响应内容
    """
    from urllib import request
    url = 'https://www.baidu.com'
    res = request.urlopen(url)
    #响应对象的方法1 read()
    html = res.read().decode()
    print(html)
    
    #响应对象方法2 geturl() -->返回实际数据的URL地址（用于有重定向的情况）
    url = res.geturl()
    print(url)
    
    #响应对象放法3：getcode()-->返回HTTP响应码
    http_status = res.getcode()
    print(http_status)

**问题思考**  
Q:网站如何判定是人类正常访问还是爬虫程序  
A:请求头 headers 中的User-Aget  
Q：怎么测试一下我们发送请求时的headers到底是什么？  
A：[测试headers的网站][headers] ，向测试网站发送请求，会返回我们的User-Agent信息

'''
    向测试网站：http://httpbin.org/get发送请求，从响应内容中确认User-Agent内容
    '''
    from urllib import request
    url = 'http://httpbin.org/get'
    res = request.urlopen(url)
    html = res.read().decode()
    print(html)

**urllib.request.Request()方法**

**使用流程**

创建请求对象
    包装请求，重构User-Agent，使程序更像人类请求
    常用参数
    URL：请求的URL地址
    headers：添加请求头，类型为字典 如下

headers = {
        
                'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'
               }

**具体使用流程**

from urllib import request
    url = 'http://httpbin.org/get'
    headers = {
        
                'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'
               }
    #请求网站三步走
    rep = request.Request(url=url,headers=headers)#构造请求对象
    res = request.urlopen(rep)#获取响应对象
    html = res.read().decode('utf-8')#获取响响应内容
    print(html)

[headers]: http://httpbin.org/get