Python 爬虫，Selenium控制操作浏览器，PhantomJS无界面浏览器

╰+哭是因爲堅強的太久メ 2022-03-26 05:56 387阅读 0赞

安装 Selenium 模块： **pip3 install selenium**

**Selenium** 可以控制操作浏览器，往input标签中输入内容，点击操作等。

**PhantomJS** 是一个无界面浏览器(可以进行截屏)，可以执行JS脚本渲染页面。需要在电脑上安装。

**Selenium应用场景：**动态html页面请求(页面元素动态加载，懒加载等)；登录获取cookies。（requests模块发送的请求返回的只是响应内容，并不会执行JS渲染页面。Selenium发送请求和提取数据的效率比较低，所有一般需要配合requests和lxml模块使用）

**demo.py（Selenium控制操作浏览器，截屏，cookie）：**

# coding=utf-8
    from selenium import webdriver   # 需要pip安装
    import time
    
    
    # 实例化一个浏览器
    driver = webdriver.Chrome()   # 需要安装对应的浏览器的driver
    # driver = webdriver.PhantomJS()  # PhantomJS是一个无界面的浏览器(可以执行JS代码)。 需要安装
    
    # 设置窗口大小
    # driver.set_window_size(1920,1080)
    
    # 最大化窗口
    driver.maximize_window()
    
    # 发送请求
    driver.get("http://www.baidu.com")
    
    # 进行页面截屏
    driver.save_screenshot("./baidu.png")
    
    # 通过id定位元素。   send_keys表示往input标签中输入内容
    driver.find_element_by_id("kw").send_keys("XXX")
    driver.find_element_by_id("su").click()   # 点击
    
    # 获取整个html页面的字符串 (该页面是经过JS执行渲染后的页面)
    # print(driver.page_source)   # 可以配合lxml模块和XPath语法，进行爬虫。
    
    print(driver.current_url)  # 当前的url地址 (click之后跳转到的url)
    
    # driver获取cookie
    # cookies = driver.get_cookies()  # 返回列表
    # print(cookies)   # 列表
    # print("*"*100)
    # cookies = {i["name"]:i["value"] for i in cookies}  # 过滤出name和value的内容 (可用于requests模块)
    # print(cookies)
    # 删除cookie
    # driver.delete_cookie("CookieName")
    # driver.delete_all_cookies()
    
    
    # 退出浏览器
    time.sleep(3)
    # driver.close()  # 退出当前页面。 所有页面都关闭后,整个浏览器就会退出。
    driver.quit()  # 退出浏览器

**demo.py（selenium，定位查找元素）：**

# coding=utf-8
    from selenium import webdriver  # 需要pip安装
    
    driver = webdriver.Chrome()  # 实例化。 需要安装对应的浏览器的driver
    
    driver.get("http://neihanshequ.com/")
    
    # find_element_xxx   返回第一个元素，没有找到会报错。
    # find_elements_xxx  返回列表，没有找到元素返回空列表。
    
    ret1 = driver.find_elements_by_xpath("//ul[@id='detail-list']/li")  # 返回列表(find_elements_xxx)
    print(ret1)  # 列表
    # 遍历
    for li in ret1:
        # 这里的XPath表达式只能获取元素；文本和属性值需要通过text和get_attribute()获取。
        print(li.find_element_by_xpath(".//h1/p").text)  # .text表示获取标签元素中的文本
        print(li.find_element_by_xpath(".//a[@class='image share_url1']").get_attribute("href"))  # 获取属性值
    
    
    ##########################################
    
    driver.get("https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&ch=&tn=baidu&bar=&wd=python&rn=&oq=&rsv_pq=87739988000939bf&rsv_t=b194dxdCny6hrJFXQrh4D6bavkKZwfpeT4s7j7V6AvGfiiAvTgxqGAvWbCM&rqlang=cn")
    
    # find_element_by_link_text  根据标签文本查找元素
    print(driver.find_element_by_link_text("下一页>").get_attribute("href"))  # 获取属性值。 会自动补全url(以http开头)
    
    # find_element_by_partial_link_text  文本中包含指定内容的元素(类似模糊查询)
    print(driver.find_element_by_partial_link_text("下一页").get_attribute("href"))
    
    # 退出浏览器
    driver.quit()

**demo.py（selenium，切换到iframe中，定位iframe中的元素）：**

# coding=utf-8
    from selenium import webdriver
    import time
    
    driver = webdriver.Chrome()
    driver.get("https://mail.qq.com/")
    
    # 切换到指定iframe中
    driver.switch_to.frame("login_frame")  # 参数可以传id和name，也可以传element元素。
    
    driver.find_element_by_id("u").send_keys("12312312312")  # iframe或frame中的元素不能直接定位获取，需要先切换到iframe中。
    
    
    time.sleep(3)
    driver.quit()

**等待页面加载完成：**

selenium请求第一页的时候会自动等待页面加载完成之后再定位元素。但是在点击跳转之后，会直接定位元素，此时可能会报错，因为页面数据还没有加载出来，需要time.sleep()等待页面加载完成后，再定位元素。

**•为什么需要等待**

如果网站采用了动态html技术(元素动态加载,懒加载)，那么页面上的部分元素出现时间便不能确定，这个时候就可以设置一个等待时间，强制要求在时间内出现，否则报错。

**•强制等待**

time.sleep(10)

**•显式等待(了解)**

显式等待指定某个条件，然后设置最长等待时间。如果在这个时间还没有找到元素，那么便会抛出异常了。

WebDriverWait(driver, 10).until( EC.presence\_of\_element\_located((By.ID, "myDynamicElement"))

**•隐式等待(了解)**

就是简单地设置一个最大等待时间，单位为秒。

driver.implicitly\_wait(10)

--------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

chromedirver下载地址：[https://][https][npm.taobao.org/mirrors/chromedriver][https]

phantomjs下载地址：[http://phantomjs.org/download.html][http_phantomjs.org_download.html]  （也可以通过淘宝镜像中下载）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220326/7c360d1075be4b54b98625d3432112c0.png
[https]: https://npm.taobao.org/mirrors/chromedriver
[http_phantomjs.org_download.html]: http://phantomjs.org/download.html