爬虫之urllib库使用

我就是我 2021-11-05 09:46 429阅读 0赞

## 请求方法request ##

import urllib.request
    url = "https://blog.csdn.net/fengxinlinux/article/details/77281253"
    # 打开网页,读取所有内容,注意read出来的是bytes类型的数据
    respons = request.urlopen(url=url).read()
    # 数据持久化,将读取出来的数据保存在本地
    with open("./csdn.html","wb") as fp:
        fp.write(respons)
        print("数据下载成功")

## 编码parse中的quote方式 ##

import urllib.request
    import urllib.parse
    # 用户输入搜索的关键字
    choice = input("请输入您要查询的关键字>>>:").strip()
    # 对关键字进行编码,url不可以出现非ASCII编码的字符数据
    Keyword = urllib.parse.quote(choice)
    # 将编码后的搜索条件拼接到url上
    url = "http://www.baidu.com/s?wd={}".format(Keyword)
    # 请求网址
    response = urllib.request.urlopen(url=url)
    # read取出相应数据,读取出来的是bytes类型的数据
    html = response.read()
    # 数据持久化,保存到本地
    with open("./关键字搜索.html","wb")as fp:
        fp.write(html)
        print("下载完成")

## UA伪装 ##

import urllib.request
    import urllib.parse
    # 用户输入搜索的关键字
    choice = input("请输入您要查询的关键字>>>:").strip()
    # 对关键字进行编码,url不可以出现非ASCII编码的字符数据
    Keyword = urllib.parse.quote(choice)
    # 将编码后的搜索条件拼接到url上
    url = "https://www.baidu.com/s?wd={}".format(Keyword)
    # 伪装浏览器
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }
    # 自定制请求对象,加入请求头
    request_obj = urllib.request.Request(url=url,headers=header)
    # 对我们自定制的请求对象发起请求
    response = urllib.request.urlopen(request_obj)
    # read取出相应数据,读取出来的是bytes类型的数据
    print(response.read())

## POST请求 ##

Ajax请求

抓取百度翻译结果

# post请求
    # 抓取百度翻译的翻译结果
    # 百度翻译基于Ajax发起的请求
    import urllib.request
    import urllib.parse
    import json
    # 用户输入要翻译的关键字
    choice = input("请输入您要翻译的关键字>>>:").strip()
    # 在网页中用开发者工具找到Ajax请求的真实网址
    url = "https://fanyi.baidu.com/sug"
    # 构建请求参数
    data = {
        'kw':choice,
    }
    # 对参数进行编码处理,返回值为str,kw=%E5%93%88
    data = urllib.parse.urlencode(data)
    # 将编码后的结果转换成bytes类型
    data = data.encode()
    # 发起post请求,经过处理后的data就是post请求携带的参数,返回值为bytes类型
    response = urllib.request.urlopen(url=url,data=data)
    # 将bytes解码
    json.loads(response.read())

转载于:https://www.cnblogs.com/songzhixue/p/11078655.html