selenium库【Python】

客官°小女子只卖身不卖艺 2024-04-17 05:58 112阅读 0赞

## Selenium简介 ##

selenium库是一个自动化测试工具，在爬虫中通常用来进行模拟登陆。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流浏览器。

1.  **定位单个元素**（以淘宝首页为例https://www.taobao.com/）

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>举例说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>.find_element_by_id()</td> 
   <td>.find_element_by_id(“q”)</td> 
  </tr> 
  <tr> 
   <td>.find_element_by_name()</td> 
   <td>.find_element_by_name(“q”)</td> 
  </tr> 
  <tr> 
   <td>.find_element_by_tag_name()</td> 
   <td>.find_element_by_tag_name(“input”)</td> 
  </tr> 
  <tr> 
   <td>.find_element_by_class_name()</td> 
   <td>.find_element_by_class_name(“search-combobox-input”)</td> 
  </tr> 
  <tr> 
   <td>.find_element_by_link_text()</td> 
   <td>.find_element_by_link_text(“男装”)</td> 
  </tr> 
  <tr> 
   <td>.find_element_by_partial_link_text()</td> 
   <td>.find_element_by_partial_link_text(“养花的人”) ，只需要一句话中的部分文字</td> 
  </tr> 
  <tr> 
   <td>.find_element_by_xpath()</td> 
   <td>.find_element_by_xpath("//input[@name=‘q’]") 或.find_element_by_xpath("/html/body/div[4]/div[1]/div[2]/div/div/div/div[1]/a/p") 或.find_element_by_xpath("//input[@id=‘q’ and @name=‘q’]")</td> 
  </tr> 
  <tr> 
   <td>.find_element_css_selector()</td> 
   <td>.find_element_css_selector("#q")</td> 
  </tr> 
 </tbody> 
</table>

1.  **定位一组元素**（以淘宝首页为例https://www.taobao.com/）

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>举例说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>.find_elements_by_id()</td> 
   <td>.find_elements_by_id(“q”)</td> 
  </tr> 
  <tr> 
   <td>.find_elements_by_name()</td> 
   <td>.find_elements_by_name(“q”)</td> 
  </tr> 
  <tr> 
   <td>.find_elements_by_tag_name()</td> 
   <td>.find_elements_by_tag_name(“input”)</td> 
  </tr> 
  <tr> 
   <td>.find_elements_by_class_name()</td> 
   <td>.find_elements_by_class_name(“search-combobox-input”)</td> 
  </tr> 
  <tr> 
   <td>.find_elements_by_link_text()</td> 
   <td>.find_elements_by_link_text(“男装”)</td> 
  </tr> 
  <tr> 
   <td>.find_elements_by_partial_link_text()</td> 
   <td>.find_elements_by_partial_link_text(“养花的人”) ，只需要一句话中的部分文字</td> 
  </tr> 
  <tr> 
   <td>.find_elements_by_xpath()</td> 
   <td>.find_elements_by_xpath("//input[@name=‘q’]") 或.find_elements_by_xpath("/html/body/div[4]/div[1]/div[2]/div/div/div/div[1]/a/p") 或.find_elements_by_xpath("//input[@id=‘q’ and @name=‘q’]")</td> 
  </tr> 
  <tr> 
   <td>.find_elements_css_selector()</td> 
   <td>.find_elements_css_selector("#q")</td> 
  </tr> 
 </tbody> 
</table>

1.  配置浏览器  
    selenium的ChromeOptions()类，在options = webdriver.ChromeOptions()实例化后可对 chrome 做一些特殊的设置。

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>.binary_location()</td> 
   <td>设置chrome二进制文件位置</td> 
  </tr> 
  <tr> 
   <td>.add_argument()</td> 
   <td>设置启动参数</td> 
  </tr> 
  <tr> 
   <td>.add_extension，add_encoded_extension()</td> 
   <td>添加扩展应用</td> 
  </tr> 
  <tr> 
   <td>.add_experimental_option</td> 
   <td>添加实验性参数</td> 
  </tr> 
  <tr> 
   <td>.debugger_address</td> 
   <td>设置调试器地址</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>.add_argument()的常用参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>.add_argument("–headless")</td> 
   <td>无窗口</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–start-maximized")</td> 
   <td>窗口最大化启动</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–window-size=100,100")</td> 
   <td>设置窗口大小</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–disable-popup-blocking")</td> 
   <td>禁用弹出拦截</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–disable-plugins")</td> 
   <td>禁用插件</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–disable-images")</td> 
   <td>禁用图像</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–user-agent=iphone")</td> 
   <td>伪装iphone登录</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–user-agent=android")</td> 
   <td>伪装android登录</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–user-agent=“User-Agent”)</td> 
   <td>使用给定的 User-Agent 字符串</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–lang=zh-CN")</td> 
   <td>设置语言为简体中文</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–disable-javascript")</td> 
   <td>禁用javascript</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–user-data-dir=’[PATH]’")</td> 
   <td>指定用户文件夹User Data路径</td> 
  </tr> 
  <tr> 
   <td>.add_argument("–proxy-server=http://{ip}:{port}")</td> 
   <td>设置代理</td> 
  </tr> 
 </tbody> 
</table>

1.  页面操作  
    selenium可以对网页进行的操作，比如输入前进、后退、点击按钮、输入文本、提交表单、清空输入框、关闭浏览器、拖放、切换窗口等。（driver = wendriver.Chrome()）

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>driver <strong>.set_window_size(800, 600)</strong></td> 
   <td>设置窗口的大小</td> 
  </tr> 
  <tr> 
   <td>driver <strong>.maximize_window</strong></td> 
   <td>设置最大化窗口</td> 
  </tr> 
  <tr> 
   <td>driver <strong>.back()</strong></td> 
   <td>后退</td> 
  </tr> 
  <tr> 
   <td>driver <strong>.forward()</strong></td> 
   <td>前进</td> 
  </tr> 
  <tr> 
   <td>driver <strong>.refresh()</strong></td> 
   <td>刷新页面</td> 
  </tr> 
  <tr> 
   <td>driver <strong>.close()</strong></td> 
   <td>关闭浏览器</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_xpath("//input[@name=‘q’]")<strong>.clear()</strong></td> 
   <td>清空文本</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_id(‘q’)<strong>.size</strong></td> 
   <td>返回元素属性</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_id(‘q’)<strong>.size</strong></td> 
   <td>返回元素属性</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_xpath("//*[@id=‘c-city’]")<strong>.text</strong></td> 
   <td>获取元素的文本</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_id(‘q’)<strong>.get_attribute(‘name’)</strong></td> 
   <td>获取属性值</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_name(‘q’)<strong>.is_diapalyed</strong></td> 
   <td>设置元素是否可见</td> 
  </tr> 
  <tr> 
   <td>ActionChains(driver)<strong>.move_to_element(element).perform()</strong></td> 
   <td>鼠标悬停操作。需导入ActionChains模块，element为自定义定位到的元素</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_name(‘q’) <strong>.cilck()</strong></td> 
   <td>模拟鼠标点击</td> 
  </tr> 
  <tr> 
   <td>ActionChains(driver)<strong>.context_click(element).perform()</strong></td> 
   <td>鼠标右击操作</td> 
  </tr> 
  <tr> 
   <td>ActionChains(driver)<strong>.double_click(element).perform()</strong></td> 
   <td>鼠标双击操作</td> 
  </tr> 
  <tr> 
   <td>ActionChains(driver)<strong>.drag_and_drop(element, target).perform()</strong></td> 
   <td>鼠标t拖动操作</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_xpath("//input[@name=‘q’]")<strong>.send_keys(“steam游戏”)</strong></td> 
   <td>模拟键盘输入文本“steam游戏 ”</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_xpath("//input[@name=‘q’]")<strong>.send_keys(Keys.CONTROL, “c”)</strong></td> 
   <td>模拟键盘ctrl + c(复制)操作。还有ctrl + v(粘贴)、ctrl + a(全选)、Keys.BACK_SPACE(删除)、Keys.SPACE(空格)等操作</td> 
  </tr> 
  <tr> 
   <td>driver.<strong>switch_to_window(window_list[0])</strong></td> 
   <td>切换到第一个窗口。window_list = driver.window_handles获取已经打开的所有窗口的句柄，返回列表</td> 
  </tr> 
  <tr> 
   <td>driver.<strong>switch_to_frame(frame)</strong></td> 
   <td>切换表单</td> 
  </tr> 
  <tr> 
   <td>driver.<strong>switch_to_parent_content()</strong></td> 
   <td>切换到上一层表单</td> 
  </tr> 
  <tr> 
   <td>driver.<strong>switch_to_default_content()</strong></td> 
   <td>切换表单最外层</td> 
  </tr> 
 </tbody> 
</table>

1.  等待页面加载  
    (1)显示等待  
    显示等待针对某个元素等待，使用WebDriverWait和ExpectedCondition 可以实现等待页面加载。

from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    
    
    browser = webdriver.Chrome() 
    # 等待登录选项出现，最多等待10秒，超时抛出异常。
    try:
    	wait = WebDriverWait(browser, 10) .until(EC.presence_of_element_located((By.CSS_SELECTOR, 
                                                                     '.qrcode-login > .login-links > .forget-pwd')))
    exceptTimeoutException:
    	print("加载页面时间过长")

wait设置最多等待 10 秒，假设在第4秒就找到了这个元素，就不会继续等剩下的6秒，而是继续执行后续代码。WebDriverWait 默认每 500 毫秒调用一次 ExpectedCondition 中的方法，直到它返回成功信号。如果成功，则返回相应的内容，否则返回布尔类型的 False。

（2）隐式等待  
针对所有元素等待

from selenium import webdriver
    
    driver = webdriver.Chrome()
    # 等待10秒
    driver.implicitly_wait(10)
    driver.get('https://www.taobao.com/')
    driver.find_element_by_xpath("//*[@id="q"]")