Python爬虫学习记录——8.使用自动化神器Selenium爬取动态网页

雨点打透心脏的1/2处 2023-06-10 08:27 72阅读 0赞

### 文章目录 ###

*   *  Selenium
     *  实战

## Selenium ##

1.  **什么是Selenium**  
    Selenium 是一个用于浏览器自动化测试的框架，可以用来爬取任何网页上看到的数据。
2.  **Selenium的下载与安装**
    
     *  安装：在终端输入 pip install selenium
     *  下载：http://chromedriver.storage.googleapis.com/index.html，解压后放在…\\Google\\Chrome\\Application\\，以及Python的安装目录里（**注意，这里下载的Chromedriver的版本必须要与你电脑上的谷歌浏览器版本对应！这里踩过坑！**）
     *  环境变量：将该目录（…\\Google\\Chrome\\Application\\）添加至环境变量
     *  使用代码测试：自动打开百度
    
        from selenium import webdriver #导入包
        driver = webdriver.Chrome()  #打开Chrome浏览器
        driver.get('http://www.baidu.com')  #输入url,打开百度首页
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]
    
    1.  进一步使用selenium，在打开百度的同时在搜索框中输入“Python Selenium”
    
        from selenium import webdriver
        from selenium.webdriver.common.keys import Keys
        driver = webdriver.Chrome()
        driver.get('http://www.baidu.com')
        
        elem = driver.find_element_by_xpath('//*[@id = "kw"]')  	#查找输入框
        elem.send_keys('Python Selenium',Keys.ENTER)  #模拟点击回车
        print(driver.page_source)
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 1]
3.  **Selenium的优缺点**
    
     *  优点：Selenium可以爬取任何网页的任何内容，因为它是通过浏览器访问的方式进行数据的爬取，没有网站会拒绝浏览器的访问。
     *  缺点：时间以及内存消耗太大
4.  **Selenium的常用操作**

driver.find_element_by_name() 
    查找符合条件的单个元素 
    driver.find_elements_by_name() 
    查找符合条件的一组元素

## 实战 ##

爬取淘宝网有关“鞋子”的商品信息，并把爬取的数据存储在MongoDB数据库中（这里为了方便测试，只是把信息输出）

**步骤**

1.  首先前往淘宝网；
2.  分析搜索框的xpath语句，并send\_keys(‘鞋子’)；
3.  分析页面，找到每条商品的信息，使用xpath提取数据并将其存储成字典的格式，输出该字典；
4.  找到下一页的按钮，模拟点击它，并循环第3步，直到循环结束 。

**代码实现**

from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.common.exceptions import TimeoutException
    from pyquery import PyQuery as pq
    import re
    
    browser = webdriver.Chrome()
    wait = WebDriverWait(browser, 10)
    #进入淘宝网，输入鞋子，返回页面
    def search():
        try:
            browser.get('https://www.taobao.com/')
            input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
            submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
            input.send_keys(u'鞋子')
            submit.click()
            total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
            get_products()
            return total.text
        except TimeoutException:
            return search()
    #跳转到下一页
    def next_page(page_number):
        try:
            input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > input")))
            submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
            input.clear()
            input.send_keys(page_number)
            submit.click()
            wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number)))
            get_products()
        except TimeoutException:
            next_page(page_number)
    #得到淘宝商品信息
    def get_products():
        wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))
        html = browser.page_source
        doc = pq(html)
        #pyquery （browser.page_source）就相当于requests.get获取的内容
        items = doc('#mainsrp-itemlist .items .item').items()
        for item in items:
            product = { 
                'image':item.find('.pic .img').attr('src'),
                'price':item.find('.price').text(),
                'deal':item.find('.deal-cnt').text()[:-3],
                'title':item.find('.title').text(),
                'shop':item.find('.shop').text(),
                'location':item.find('.location').text(),
            }
            print(product)
    
    def main():
        total = search()
        total = int(re.compile('(\d+)').search(total).group(1))
        #爬取所有的数据用total+1
        for i in range(2,10):
            next_page(i)
    
    
    if __name__ == '__main__':
        main()

**注意：由于淘宝现在采取了反爬措施，以上的代码仅供参考！由于需要通过额外的措施来进行数据爬取，建议参考此篇博客：https://cloud.tencent.com/developer/news/389288以及https://blog.csdn.net/weixin\_30553777/article/details/99335117**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]: /images/20230531/954feabdb6584152b94498a4c170fd78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 1]: /images/20230531/03b474ce325b41dc9f4db8a69be52f99.png