爬虫的selenium 框架

向右看齐 2021-10-29 09:52 459阅读 0赞

# 更多操作文档： #

[http://selenium-python.readthedocs.io/api.html\#module-selenium.webdriver.common.action\_chains][http_selenium-python.readthedocs.io_api.html_module-selenium.webdriver.common.action_chains]

selenium 与 Httpsession 中的 s.html.render 特别相似 关键是在于他更加的具体，可以支持多种浏览器，并且包括截图等功能

![1510119-20190810201813515-816185920.png][]

需要下载

解决方案：  
[https://www.cnblogs.com/zhaijiahui/p/8954304.html][https_www.cnblogs.com_zhaijiahui_p_8954304.html]  
下载连接

[https://chromedriver.storage.googleapis.com/index.html][https_chromedriver.storage.googleapis.com_index.html]

from selenium import  webdriver
    import  time
    d1=webdriver.Chrome(r"C:\Users\xzq\Downloads\chromedriver_win32 (1)\chromedriver.exe") #浏览器内核的位置
    d1.get("https://login.taobao.com/member/login.jhtml?spm=a21bo.2017.754894437.1.5af911d9bW79Rz&f=top&redirectURL=https%3A%2F%2Fwww.taobao.com%2F")
    d1.find_element_by_id("J_Quick2Static").click()
    time.sleep(3)
    d1.find_element_by_id("TPL_username_1").send_keys("扯淡灬孩子02547915")
    d1.find_element_by_id("TPL_password_1").send_keys("a13736784065")
    d1.find_element_by_id("J_SubmitStatic").click()

## \#滑动验证的问题 ##

button = d1.find_element_by_id('nc_1_n1z')# 找到“蓝色滑块”
    action = webdriver.ActionChains(d1)# 实例化一个action对象
    action.click_and_hold(button).perform()# perform()用来执行ActionChains中存储的行为
    action.reset_actions()
    action.move_by_offset(280, 0).perform()# 移动滑块
    action.release()

## 解决验证码无法输入的问题 ##

请求图片的url 每次请求的图片都一样
    直接给request
    如果每次都不一致
    1.实例化session
    2.使用session 请求页面，获取验证码地址
    3.发送session请求验证码，使用打码识别
    4.使用session发送post
    使用selenium 遇到验证码:
    selenium请求登陆页面，同时拿到验证码地址
    获取登陆drive中的cookie，交给request处理识别
    或者使用截图工具找出验证码 用打马识别

![1510119-20190810203635398-360057406.png][]

![1510119-20190810203640554-584136610.png][]

## 获取文本和属性 ##

1.先定位到元素，然后调用.text 或者get\_attributee  
find\_element 返回的是一个element 如果没有就会报错  
find\_elemants 返回是的一个列表，没有就是空列表

## 解决find\_element 失败的方法 ##

可能页面中有iframe,frame  
需要先调用  
d1.switch\_to.frame(“framae\_name”)  
然后再取输入内容

## 把浏览器内核的cookie交给session中的cookie操作 ##

![1510119-20190810203901438-433455503.png][]

### 执行JavaScript ###

这是一个非常有用的方法，这里就可以直接调用js方法来实现一些操作，  
下面的例子是通过登录知乎然后通过js翻到页面底部，并弹框提示

from selenium import webdriver
    browser = webdriver.Chrome()
    browser.get("http://www.zhihu.com/explore")
    browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    browser.execute_script('alert("To Bottom")')

# 明明有这个元素未获得 #

原因：还没加载完就获取

![1510119-20190810203946800-1656887029.png][]

# 使用ORC识别验证码 #

1.安装PIL （python3 中没有直接的PIL 版本供应下载 可以先使用 Pillow）  
2.导入from PIL import Image

import  pytesseract
    from  PIL import  Image
    img=Image.open("0014076720724832de067ce843d41c58f2af067d1e0720f000[1].jpg")
    print(pytesseract.image_to_string(img))

如果报错请参考(原因是因为没有安装ORC)下载后在pytesseract的tesseract\_cmd下添加tesserac.exet路径即可  
无法加载中文  
添加系统变量

详细https://blog.csdn.net/wang\_hugh/article/details/80760940  
下载方法https://blog.csdn.net/ocean35/article/details/82942382

# Frame #

在很多网页中都是有Frame标签，所以我们爬取数据的时候就涉及到切入到frame中以及切出来的问题，通过下面的例子演示  
这里常用的是switch\_to.from()和switch\_to.parent\_frame()

import time
    from selenium import webdriver
    from selenium.common.exceptions import NoSuchElementException
    
    browser = webdriver.Chrome()
    url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
    browser.get(url)
    browser.switch_to.frame('iframeResult')
    source = browser.find_element_by_css_selector('#draggable')
    print(source)
    try:
        logo = browser.find_element_by_class_name('logo') #获得这个
    except NoSuchElementException:
        print('NO LOGO')
    browser.switch_to.parent_frame() #如果没有获得就切换
    logo = browser.find_element_by_class_name('logo')
    print(logo)
    print(logo.text)

**显示等待**

**一直等待页面元素加载。给定指定时间，时间外不出现，报错**

**指定一个等待条件**

from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    
    browser = webdriver.Chrome()
    browser.get('https://www.taobao.com/')
    wait = WebDriverWait(browser, 10)
    input = wait.until(EC.presence_of_element_located((By.ID, 'q')))#等到id=q的标签出现放回
    button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))#css=btn-search 可点击的按钮放回
    print(input, button)

## 其他的判断 ##

title_is 标题是某内容
    title_contains 标题包含某内容
    presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')
    visibility_of_element_located 元素可见，传入定位元组
    visibility_of 可见，传入元素对象
    presence_of_all_elements_located 所有元素加载出
    text_to_be_present_in_element 某个元素文本包含某文字
    text_to_be_present_in_element_value 某个元素值包含某文字
    frame_to_be_available_and_switch_to_it frame加载并切换
    invisibility_of_element_located 元素不可见
    element_to_be_clickable 元素可点击
    staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
    element_to_be_selected 元素可选择，传元素对象
    element_located_to_be_selected 元素可选择，传入定位元组
    element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
    element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
    alert_is_present 是否出现Alert

更多操作参考：[http://selenium-python.readthedocs.io/api.html\#module-selenium.webdriver.support.expected\_conditions][http_selenium-python.readthedocs.io_api.html_module-selenium.webdriver.support.expected_conditions]

**浏览器前进后退关闭**

browser.back()
    time.sleep(1)
    browser.forward()
    browser.close()

### cookie操作 ###

get\_cookies()  
delete\_all\_cookes()  
add\_cookie()

from selenium import webdriver

browser = webdriver.Chrome()
    browser.get('https://www.zhihu.com/explore')
    print(browser.get_cookies())
    browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'zhaofan'})
    print(browser.get_cookies())
    browser.delete_all_cookies()
    print(browser.get_cookies())

页面选择卡

新开选项卡：window.open()
    选择卡列表：browser.window_handles
    切换选择卡：switch_to_window
    
    import time
    from selenium import webdriver
    
    browser = webdriver.Chrome()
    browser.get('https://www.baidu.com')
    browser.execute_script('window.open()')
    print(browser.window_handles)
    browser.switch_to_window(browser.window_handles[1])
    browser.get('https://www.taobao.com')
    time.sleep(1)
    browser.switch_to_window(browser.window_handles[0])
    browser.get('https://python.org')

转载于:https://www.cnblogs.com/xzqpy/p/11332918.html

[http_selenium-python.readthedocs.io_api.html_module-selenium.webdriver.common.action_chains]: http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains
[1510119-20190810201813515-816185920.png]: /images/20211029/f4800ce3a66647ca863e8a0ab21c3d43.png
[https_www.cnblogs.com_zhaijiahui_p_8954304.html]: https://www.cnblogs.com/zhaijiahui/p/8954304.html
[https_chromedriver.storage.googleapis.com_index.html]: https://chromedriver.storage.googleapis.com/index.html
[1510119-20190810203635398-360057406.png]: /images/20211029/0cf82f1561b8409d8991b4bdf3a52e8d.png
[1510119-20190810203640554-584136610.png]: /images/20211029/803ae461813645ff85743dca22602eb0.png
[1510119-20190810203901438-433455503.png]: /images/20211029/e7f73ea33d48479185969abb3f7d3710.png
[1510119-20190810203946800-1656887029.png]: /images/20211029/b17353ce825445ab96db7cee8c0f50c8.png
[http_selenium-python.readthedocs.io_api.html_module-selenium.webdriver.support.expected_conditions]: http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions