python3爬虫 - cookie登录实战

水深无声 2022-08-04 11:37 258阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/47948065][blog.csdn.net_pipisorry_article_details_47948065]

**实战1：使用cookie登录哈工大ACM网站**

**获取网站登录地址**

http://acm.hit.edu.cn/hoj/system/login

**查看要传送的post数据**

user和password

**Code:**

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    """
    __author__ = 'pi'
    __email__ = 'pipisorry@126.com'
    
    """
    import urllib.request, urllib.parse, urllib.error
    import http.cookiejar
    
    LOGIN_URL = 'http://acm.hit.edu.cn/hoj/system/login'
    values = {
      'user': '******', 'password': '******'} # , 'submit' : 'Login'
    postdata = urllib.parse.urlencode(values).encode()
    user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'
    headers = {
      'User-Agent': user_agent, 'Connection': 'keep-alive'}
    
    cookie_filename = 'cookie.txt'
    cookie = http.cookiejar.MozillaCookieJar(cookie_filename)
    handler = urllib.request.HTTPCookieProcessor(cookie)
    opener = urllib.request.build_opener(handler)
    
    request = urllib.request.Request(LOGIN_URL, postdata, headers)
    try:
        response = opener.open(request)
        page = response.read().decode()
        # print(page)
    except urllib.error.URLError as e:
        print(e.code, ':', e.reason)
    
    cookie.save(ignore_discard=True, ignore_expires=True)  # 保存cookie到cookie.txt中
    print(cookie)
    for item in cookie:
        print('Name = ' + item.name)
        print('Value = ' + item.value)
    
    get_url = 'http://acm.hit.edu.cn/hoj/problem/solution/?problem=1'  # 利用cookie请求访问另一个网址
    get_request = urllib.request.Request(get_url, headers=headers)
    get_response = opener.open(get_request)
    print(get_response.read().decode())
    # print('You have not solved this problem' in get_response.read().decode())

**Note**:

1. 直接open http://acm.hit.edu.cn/hoj/problem/solution/?problem=1页面不知道去哪了，根本不是直接用浏览器登录后的界面！用cookie登录就可以正常访问，html代码中会有一句话you have not solved this problem，因为我没做这道题。

2. 原理：创建一个带有cookie的opener，在访问登录的URL时，将登录后的cookie保存下来，然后利用这个cookie来访问其他网址。查看登录之后才能看到的信息。\[[python 3.3.2 爬虫记录][python 3.3.2]\]

**重复使用cookie登录**

上面代码中我们保存cookie到文件中了，下面我们可以直接从文件导入cookie进行登录，不用再构建包含用户名和密码的postdata了

import urllib.request, urllib.parse, urllib.error
    import http.cookiejar
    
    cookie_filename = 'cookie.txt'
    cookie = http.cookiejar.MozillaCookieJar(cookie_filename)
    cookie.load(cookie_filename, ignore_discard=True, ignore_expires=True)
    print(cookie)
    handler = urllib.request.HTTPCookieProcessor(cookie)
    opener = urllib.request.build_opener(handler)
    
    get_url = 'http://acm.hit.edu.cn/hoj/problem/solution/?problem=1'  # 利用cookie请求访问另一个网址
    get_request = urllib.request.Request(get_url)
    get_response = opener.open(get_request)
    print(get_response.read().decode())

## [皮皮Blog][Blog] ##

**实战2：使用cookie登录伯乐在线**

**获取网站登录地址**

1. chrome浏览器中按F12审查元素 > Network > Headers > General > Request URL: http://www.jobbole.com/login/?redirect=http://www.jobbole.com/

然而这个并不是其真实网站登录网址^-^

![Center][]

2. 也可以下载软件[Fiddler for .NET2][]查看相关信息。运行python程序访问和直接在浏览器中刷新都可以在fiddler中找到相关信息。  
**Note**: fiddler其实是抓包用的，是独立的工具。类似这种前端登录动作，也可以用casperjs。还可以用HttpWatch浏览器嵌入工具。

查看200所在的条目（200：请求成功      处理方式：获得响应的内容，进行处理）

![Center 1][]

下面是登录后看到的request中有webforms的信息对应的网址是也就是其真实网站登录网址http://www.jobbole.com/wp-admin/admin-ajax.php

![Center 2][]

(吓死爷了，第一次上传竟然忘了把密码遮住！)

**查看要传送的post数据**

1. 上面使用fiddler看到的webforms就是登录要用的post数据要包含的（其中redict\_url是可以不加上去的）

2. 或者使用浏览器Elements > html文档中所要提交的数据有name和password，然而这个并不是真实的post数据^-^

![Center 3][]

**查看headers信息**

如果不自己添加headers信息中的User-Agent，python代码登录时会默认使用User-Agent: Python-urllib/3.4

我们在chrome浏览器中按F12审查元素 > Network > Headers中可以看到User-Agent应该设置为：'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'

一般要添加的headers信息有：

'Host': '', 'Accept': '', 'User-Agent': '', 'Accept-Language': ''， Accept-Encoding

**登录后查看request headers**

发现cookie发生了变化，加上了用户名\*\*\*和密码\*\*\*\*\*\*\*\*\*\*\*\*\*

Cookie:

wordpress\_test\_cookie=WP+Cookie+check

Cookie:

wordpress\_test\_cookie=WP+Cookie+check; wordpress\_logged\_in\_0efdf49af511fd88681529ef8c2e5fbf=\*\*\*\*%7C1440690138%\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    """
    __title__ = ''
    __author__ = 'pi'
    __mtime__ = '8/23/2015-023'
    __email__ = 'pipisorry@126.com'
    # code is far away from bugs with the god animal protecting
        I love animals. They taste delicious.
                  ┏┓      ┏┓
                ┏┛┻━━━┛┻┓
                ┃      ☃      ┃
                ┃  ┳┛  ┗┳  ┃
                ┃      ┻      ┃
                ┗━┓      ┏━┛
                    ┃      ┗━━━┓
                    ┃  神兽保佑    ┣┓
                    ┃　永无BUG！   ┏┛
                    ┗┓┓┏━┳┓┏┛
                      ┃┫┫  ┃┫┫
                      ┗┻┛  ┗┻┛
    """
    import urllib.request, urllib.parse, urllib.error
    import http.cookiejar
    
    LOGIN_URL = 'http://www.jobbole.com/wp-admin/admin-ajax.php'
    get_url = 'http://www.jobbole.com/'  # 利用cookie请求访问另一个网址
    
    values = {
        'action': 'user_login', 'user_login': '*****', 'user_pass': '******'}
    postdata = urllib.parse.urlencode(values).encode()
    user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'
    headers = {
        'User-Agent': user_agent}
    
    cookie_filename = 'cookie_jar.txt'
    cookie_jar = http.cookiejar.MozillaCookieJar(cookie_filename)
    handler = urllib.request.HTTPCookieProcessor(cookie_jar)
    opener = urllib.request.build_opener(handler)
    
    request = urllib.request.Request(LOGIN_URL, postdata, headers)
    try:
        response = opener.open(request)
        # print(response.read().decode())
    except urllib.error.URLError as e:
        print(e.code, ':', e.reason)
    
    cookie_jar.save(ignore_discard=True, ignore_expires=True)  # 保存cookie到cookie.txt中
    for item in cookie_jar:
        print('Name = ' + item.name)
        print('Value = ' + item.value)
    
    get_request = urllib.request.Request(get_url, headers=headers)
    get_response = opener.open(get_request)
    print('个人主页' in get_response.read().decode())

**Note**:

1. cookie登录不成功则会输出：

Name = wordpress\_test\_cookie

Value = WP+Cookie+check

这个就说明之前根本没有登录成功，主要是真实登录地址不对！

2. cookie登录成功时会输出：

Name = wordpress\_0efdf49af511fd88681529ef8c2e5fbf

Value = \*\*\*\*\*%\*\*\*%\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*(value中会包含账户和密码)

并且jobbole\_response.read()输出中存在“个人主页”“退出登录”字样，就说明登录成功了，否则只会有“登录”“注册”之类的字符串。

使用刚刚保存的cook\_jar.txt文件登录参见\[[python爬虫 - Urllib库及cookie的使用][python_ - Urllib_cookie] - 从文件中获取Cookie并访问\]

## [皮皮Blog][Blog] ##

**实战3：使用cookie登录知乎**

目前知乎采用动态验证码破解还没验证，这样post里面还需要captcha的参数。待定。。。

Note:这个\_xsrf其实可以不submit，它已经作为cookie写进去了。可以看看登入www.zhihu.com的返回的header。

[皮皮Blog][Blog]

**实战4：使用cookie登录****本科网站爬取成绩信息**

注意这个网站是https的网站，不过和上面的cookie登录的http网站一样登录。登录的是电子科大门户（因为小编就是UESTC的嘛）

**获取本科网站登录地址**

1. chrome浏览器中按F12审查元素 > Network > Headers > General > Request URL:https://uis.uestc.edu.cn/amserver/UI/Login

可以看到其真实网站登录网址为https://uis.uestc.edu.cn/amserver/UI/Login

2. 当然也可以用fiddler抓取https的请求，不过要配置一下：Tools > fiddler options > https > capture...和decrypt都打√ > 然后根据提示安装一证书yes就可以了

**查看要传送的post数据**

打开fiddler![Image 1][]后，浏览器中登录门户网站，在fidddles中看到对应的webforms实际提交的数据，不过也只要IDToken1', 'IDToken2这两个数据。

![Center 4][]

**代码**

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    """
    __author__ = 'pi'
    __email__ = 'pipisorry@126.com'
    """
    import urllib.request
    import urllib.parse
    import urllib.error
    import http.cookiejar
    
    LOGIN_URL = r'https://uis.uestc.edu.cn/amserver/UI/Login'  # 登录教务系统的URL
    get_url = 'http://eams.uestc.edu.cn/eams/teach/grade/course/person.action'  # 利用cookie请求访问另一个网址
    
    values = {'IDToken1': '201106******', 'IDToken2': '***********'}
    postdata = urllib.parse.urlencode(values).encode()
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
    
    cookie_filename = 'cookie_jar.txt'
    cookie_jar = http.cookiejar.MozillaCookieJar(cookie_filename)
    handler = urllib.request.HTTPCookieProcessor(cookie_jar)
    opener = urllib.request.build_opener(handler)
    
    request = urllib.request.Request(LOGIN_URL, postdata, headers)
    try:
        response = opener.open(request)
        # print(response.read().decode())
    except urllib.error.URLError as e:
        print(e.code, ':', e.reason)
    
    cookie_jar.save(ignore_discard=True, ignore_expires=True)  # 保存cookie到cookie.txt中
    for item in cookie_jar:
        print('Name = ' + item.name)
        print('Value = ' + item.value)
    
    get_request = urllib.request.Request(get_url, headers=headers)
    get_response = opener.open(get_request)
    print(get_response.read().decode())

小编已gui，里面什么也没了，显示没有信息！楼主毕业了的T^T

\[[pyQuery语法來操作解析 HTML 文档解析教学网页][pyQuery_HTML]\]

\[ [计算大学本学期绩点][Link 1]\]

from:[http://blog.csdn.net/pipisorry/article/details/47948065][blog.csdn.net_pipisorry_article_details_47948065]

ref:

[blog.csdn.net_pipisorry_article_details_47948065]: http://blog.csdn.net/pipisorry/article/details/47948065
[python 3.3.2]: http://www.cnblogs.com/yejinru/p/3601905.html
[Blog]: http://blog.csdn.net/pipisorry
[Center]: /images/20220731/239a5b0ab8784bcab68762c44b923e9b.png
[Fiddler for .NET2]: http://www.telerik.com/download/fiddler
[Center 1]: /images/20220731/01471585feb74cdcb83c3720033260c7.png
[Center 2]: /images/20220731/a02e31a5a65c472ea07748b2e071a976.png
[Center 3]: /images/20220731/e5f48a7a40e04bca8f8e19f9d50dbed5.png
[python_ - Urllib_cookie]: http://blog.csdn.net/pipisorry/article/details/47905781
[Image 1]: 
[Center 4]: /images/20220731/2b2ad0c826af471f9289135a1edc7aa9.png
[pyQuery_HTML]: http://segmentfault.com/a/1190000002713180
[Link 1]: http://cuiqingcai.com/997.html