基于Selenium自动爬虫电商上的数据

蔚落 2022-05-19 10:21 45阅读 0赞

## selenium ##

一个功能强大的自动化测试工具，当然这里不用做自动化测试，而是用来进行自动化的爬取数据的。

## 前置安装 ##

首先需要安装ChromeDriver，这里也可以安装Firefox的driver。  
安装地址： [https://sites.google.com/a/chromium.org/chromedriver/][https_sites.google.com_a_chromium.org_chromedriver]  
提示信息： 建议大家自行寻找人肉翻=墙的工具，自行下载。

Firefox Driver  
安装地址： [https://github.com/mozilla/geckodriver/releases][https_github.com_mozilla_geckodriver_releases]  
提示信息： 目前都是支持多个操作系统的。

## 环境配置 ##

在windows上，如果使用的是anaconda，则放入其目录下的Scripts目录中。  
如果是其他安装方式，则可以放入PATH的环境变量设置中。

在Linux/Macos上， 遵循PATH的变量中可以找到即可。

## 验证安装 ##

在命令行输入chromedriver

> chromedriver

测试输出信息为：

C:\Users\xxxx>chromedriver
    Starting ChromeDriver 2.40.565498 (ea082db3280dd6843ebfb08a625e3eb905c4f5ab) on port 9515
    Only local connections are allowed.

则表示配置成功了。

## 任务描述 ##

基于京东的商品搜索框，输入ipython，爬取前10个商品的名称、店铺和评价数目。对于评价，需要只关注于当前商品，需要进行过滤。

## task1 获取商品链接 ##

from selenium import webdriver
    from urllib.parse import quote 
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    
    browser = webdriver.Chrome()
    key='iphone'
    url='https://search.jd.com/Search?keyword='+quote(key)+'&enc=utf-8' #构造url
    browser.get(url) #打开url
    browser.implicitly_wait(3) #等待
    ## search the product by the order
    browser.find_element_by_link_text('销量').click()
    
    wait = WebDriverWait(browser, 10)
    input = wait.until(EC.visibility_of_all_elements_located((By.XPATH, '//*[@id="J_goodsList"]/ul/li/div/div[1]/a')))
    
    links=browser.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li/div/div[1]/a')

这里同样可以使用headless模式来进行爬取。

chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--headless') 
    browser = webdriver.Chrome(chrome_options)

## task2 – 提取链接 ##

urls = \[l.get\_attribute(‘href’) for l in links\]

## task3 – 提取单个商品的信息 ##

代码如下：

def get_product_info(url):
        print('current url:' + url)
        browser.get(url)
        browser.implicitly_wait(5) 
        content = browser.find_element_by_class_name('sku-name')
        product_name = content.text
    
        print('name:' + product_name) 
        store_name = browser.find_element_by_xpath('//*[@id="crumb-wrap"]/div/div[2]/div[2]/div[1]/div/a')
    
        print('store name:' + store_name.text + "," + store_name.get_attribute('href'))
    
        # set the filter of the current product comment only, //*[@id="comment"]/div[2]/div[2]/div[1]/ul/li[8]
        browser.find_element_by_xpath('//*[@id="detail"]/div[1]/ul/li[5]').click()
    
        wait = WebDriverWait(browser, 10)
        wait.until(EC.presence_of_element_located((By.ID, 'comm-curr-sku')))
        wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.comm-curr-sku')))
    
        #browser.find_element_by_link_text('只看当前商品评价').click()
        browser.find_element_by_xpath('//*[@id="comment"]/div[2]/div[2]/div[1]/ul/li[8]').click()
        wait = WebDriverWait(browser, 5)
        all_comment_num = browser.find_element_by_xpath('//*[@id="comment"]/div[2]/div[2]/div[1]/ul/li[1]').get_attribute('data-num')
    
        print("current all comment num:" + str(all_comment_num))
    
        print("Now it has been the new vlaue: all comment num:" + str(all_comment_num))
    
        all_comment_num = browser.find_element_by_xpath('//*[@id="comment"]/div[2]/div[2]/div[1]/ul/li[1]').get_attribute('data-num')
        pic_comment_num = browser.find_element_by_xpath('//*[@id="comment"]/div[2]/div[2]/div[1]/ul/li[2]').get_attribute('data-num')
        append_comment_num = browser.find_element_by_xpath('//*[@id="comment"]/div[2]/div[2]/div[1]/ul/li[3]').get_attribute('data-num')
        good_comment_num = browser.find_element_by_xpath('//*[@id="comment"]/div[2]/div[2]/div[1]/ul/li[4]').get_attribute('data-num')
    
        print("所有的评论数:" + str(all_comment_num) + ", 晒图:" + str(pic_comment_num) + ", 追加评论:" + str(append_comment_num) + ",好评:" + str(good_comment_num))

## 等待的Tips ##

这里使用了一些等待页面的技术，防止在操作出发之后，但是页面的元素并未加载完成，但是后续的操作就已经开始的问题。  
这里使用的技巧有：

> browser.implicitly\_wait(5)

这个设置项为隐性等待，对整个driver的周期都起作用，所以只要设置一次即可。 含义是在5秒之内加载完毕，则直接返回，继续；否则，在5秒之后，继续后续操作。

> time.sleep(4)

强制等待，将当前程序等待特定时间段。

> WebDriverWait  
> 这里延迟等待的方法定义如下：  
> WebDriverWait(driver, 超时时长, 调用频率, 忽略异常).until(可执行方法, 超时时返回的信息)

使用的示例如下：

wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'comm-curr-sku')))
    wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.comm-curr-sku')))

这里的超时时间设置为10seconds， 等待知道特定的元素出现为止。 超过10seconds，则继续后续操作，比如报错之类的。

## 总结 ##

这里更多的都是对于Web 页面的分析，以及Selenium其中若干方法的使用。在实际中，需要多多实践和总结经验，看上去可用的内容，在实际开发中，往往会有各种各样的问题。

[https_sites.google.com_a_chromium.org_chromedriver]: https://sites.google.com/a/chromium.org/chromedriver/
[https_github.com_mozilla_geckodriver_releases]: https://github.com/mozilla/geckodriver/releases