使用Cookie访问需要登录的网页（人人网）

末蓝、 2022-05-16 03:26 776阅读 0赞

方法一：将网页上的Cookie信息提取出来。放到headers中。

from urllib import request
    
    #1，使用cookie去请求大鹏主页
    dapeng_url="http://www.renren.com/880151247/profile"
    
    headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
            'Cookie':'anonymid=jkuiiurnvre0nt; depovince=BJ; _r01_=1; JSESSIONID=abcLz81Ll-2pT9ItFz7uw; ick_login=9fd7e26c-95d6-4156-bf21-7ccb0644652b; t=b6de8c780b74760104b5bd0e9c3933823; societyguester=b6de8c780b74760104b5bd0e9c3933823; id=967465483; xnsid=c4992183; jebecookies=147f1dc2-bf63-4f86-abb6-001144b163c3|||||; jebe_key=07f36ae5-9361-4c9e-9c67-e55a27eff470%7C24b4ad1a6cd50af7373fa3183bbd573a%7C1534299927913%7C1%7C1534299934516; wp_fold=0'
            }
    req=request.Request(url=dapeng_url,headers=headers)
    resp=request.urlopen(req)
    #print(resp.read().decode('utf-8'))
    #不使用cookie去请求大鹏主页打印时出现注册登录的信息，使用cookie
    
    #把网页保存到本地
    with open('renren.html','w',encoding='utf-8') as fp:
        #write函数必须写入一个str的数据类型
        #resp.read()读出来的是一个bytes数据类型
        #bytes-->decode-->str
        #str-->encode-->bytes
        fp.write(resp.read().decode('utf-8'))

方法二：登录时自动存储Cookie,不需要复制网页中的保存下来的Cookie。这样程序更加智能一点：

Cookie保存到cookiejar中了

from urllib import request
    from urllib import parse
    from http.cookiejar import CookieJar
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }
    
    
    def get_opener():
        # 1.登录
        # 1.1创建一个cookiesjar对象
        cookiejar = CookieJar()
        # 1.2使用cookiejar创建一个HTTPCookieProcessor对象
        handler = request.HTTPCookieProcessor(cookiejar)
        # 1.3使用上一步创建的handler创建一个opener
        opener = request.build_opener(handler)
        return opener
    
    
    def login_renren(opener):
        # 1.4使用opener发送登录的请求（人人网的邮箱和密码）
        data = {
            'email': 'xxxxx@qq.com',
            'password': 'xxxxxx'
        }
    
        login_url = "http://www.renren.com/PLogin.do"
        req = request.Request(login_url, data=parse.urlencode(data).encode('utf-8'), headers=headers)
        opener.open(req)
    
    
    def visit_profile(opener):
        # 2.访问主页
        dapeng_url = "http://www.renren.com/880151247/profile"
        # 获取个人主页的页面的时候,不要新建一个opener
        # 而是应该使用之前的那个opener,因为之前的那个opener已经包含了
        # 登录所需要的cookie信息
        req = request.Request(dapeng_url, headers=headers)
        resp = opener.open(req)
        with open('renren.html', 'w', encoding='utf-8') as fp:
            fp.write(resp.read().decode('utf-8'))
    
    
    if __name__ == '__main__':
        opener = get_opener()
        login_renren = login_renren(opener)
        visit_profile = visit_profile(opener)