python+selenium实现cookie登录，并抓取指定类class下的html内容

叁歲伎倆 2023-03-05 03:28 21阅读 0赞

个人研究学习研究用

1、首先通过链接手动登录，[https://www.educity.cn/][https_www.educity.cn]。获取cookie信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0Nzc5MTQ_size_16_color_FFFFFF_t_70][]

2、再使用站点cookie登录，跳转到[https://uc.educity.cn/tiku/testReport.html?id=8067641][https_uc.educity.cn_tiku_testReport.html_id_8067641]，通过F12获取<div class="shitiText lh2">发现规律，所有答案部分都有shitiText

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0Nzc5MTQ_size_16_color_FFFFFF_t_70 1][]

3、然后使用find\_elements\_by\_class\_name方法获取所有shitiText 下的内容，写入到html中

4、安装 selenium

pip install selenium

5、完整代码，

#!/usr/bin/python
    import time
    from selenium import webdriver
    i = 0
    
    base_url = 'https://www.educity.cn/login.html'
    browser = webdriver.Chrome()
    browser.maximize_window()
    browser.implicitly_wait(10)
    # browser.get(base_url)
    
    # 使用cookie登录
    browser.get(base_url)
    cookies = {'name': 'cstk', 'value': 'e2e87cfa2d03cb692792a3f94a0bfedc', 'domain': 'educity.cn', 'path': '/', 'httpOnly': False, 'secure': False, }
    browser.delete_cookie(cookies['name'])
    browser.add_cookie(cookies)
    browser.get(base_url)
    
    # 登录后跳转到题目页面 2019年上半年软件设计师考试上午真题（专业解析+参考答案）
    '''name = "2019年上半年软件设计师考试上午真题（专业解析+参考答案）.html"
    url = "https://uc.educity.cn/tiku/testReport.html?id=8064126"'''
    
    name = "2019年下半年软件设计师考试上午真题（专业解析+参考答案）.html"
    url = "https://uc.educity.cn/tiku/testReport.html?id=8067641"
    
    browser.get(url)
    time.sleep(2)  # 等待5秒，等待网页加载完成
    # 定位答案位置
    like = browser.find_elements_by_class_name('shitiText')
    # lists = []
    bg = open(name, 'w+', encoding='utf-8')
    for x in range(0, len(like)):
        # a = like[x].text 获取文本
        # 获取html
        a = like[x].get_attribute('innerHTML')
        # 删除头尾空格
        a = a.strip()
        # lists.append(a)
        bg.write('<h1>'+str(i)+'</h1>'+a)
        i += 1
    bg.close()

[https_www.educity.cn]: https://www.educity.cn/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0Nzc5MTQ_size_16_color_FFFFFF_t_70]: /images/20230208/e4a331913eca4c17b644350052d1b428.png
[https_uc.educity.cn_tiku_testReport.html_id_8067641]: https://uc.educity.cn/tiku/testReport.html?id=8067641
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0Nzc5MTQ_size_16_color_FFFFFF_t_70 1]: /images/20230208/53c91f6240e84eb69faba2ff26b4c2b8.png