爬取电商站点上所有的商品列表信息

￡神魔★判官ぃ 2022-05-19 10:23 169阅读 0赞

## 爬取描述 ##

爬取某电商上的所有python的关键字信息，这里主要是指图书，每个图书只需要名称和所属的店铺名称信息即可。

## 实现 ##

这里直接上代码：

from selenium import webdriver
    import pandas as pd
    from urllib.parse import quote
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.common.exceptions import NoSuchElementException
    import time
    
    browser = webdriver.Chrome()
    key='python'
    url='https://search.jd.com/Search?keyword='+quote(key)+'&enc=utf-8' #构造url
    browser.get(url) #打开url
    browser.implicitly_wait(3) #等待
    wait = WebDriverWait(browser, 10)
    input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, "pn-next")))
    
    i = 2
    max_page = browser.find_element_by_xpath('//*[@id="J_topPage"]/span/i').text
    
    while True:
        if (int(max_page)<i):
            print("The current Page Index:" + i + ", it has overflowed with " + max_page)
            break
    
        try:
            urls = get_page_urls()
    
            browser.execute_script('window.open()')
            browser.switch_to_window(browser.window_handles[1])
    
            print("open a book detail window......")
    
            for k in range(0,1):
                get_product_info(urls[k])
    
            browser.execute_script('window.close()')
            time.sleep(1)
            browser.switch_to_window(browser.window_handles[0])
            print("close the window, and swithc the active window 0.....")
    
            print("ready to move the next page ==> " + str(i))
            browser.refresh()
            browser.implicitly_wait(3)
            wait = WebDriverWait(browser, 10)
            input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, "pn-next")))
    
            browser.find_element_by_xpath('//*[@id="J_bottomPage"]/span[1]/a[9]').click()
            time.sleep(3)
            wait = WebDriverWait(browser, 10)
            input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, "pn-next")))
    
            pageNum = browser.find_element_by_xpath('//*[@id="J_bottomPage"]/span[1]/a[@class="curr"]').text;
    
            print("current page num vs current index:" + str(pageNum) + "/" + str(i))
            while str(pageNum) != str(i):
                print("ready to check the element in page...")
                #browser.find_element_by_xpath('//*[@id="J_topPage"]/a[2]').click()
                browser.find_element_by_xpath('//*[@id="J_bottomPage"]/span[1]/a[9]').click()
    
                browser.implicitly_wait(3)
                time.sleep(3)
                wait = WebDriverWait(browser, 10)
                input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, "pn-next")))
                print("click again, current page num vs current index:" + str(pageNum) + "/" + str(i))
                pageNum = browser.find_element_by_xpath('//*[@id="J_bottomPage"]/span[1]/a[@class="curr"]').text;
    
            print("loading the current page==>" + str(i))
            i = i+1
    
        except Exception as e:
            print(e)
            print("end of the search comment process")
            break
    
    browser.close()
    
    def get_page_urls():
        wait = WebDriverWait(browser, 10)
        input = wait.until(EC.visibility_of_all_elements_located((By.XPATH, '//*[@id="J_goodsList"]/ul/li/div/div[1]/a')))
    
        links=browser.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li/div/div[1]/a')
    
    
        print("ready for the current links:" + str(len(links)))
    
        urls=[l.get_attribute('href') for l in links]
        print("convert the links into urls:" + str(len(urls)))
    
        return urls
    
    def get_product_info(url):
        print("ready to get product info:" + url)
        browser.get(url)
        content = browser.find_element_by_class_name('sku-name')
        product_name = content.text
    
        print('name:' + product_name)
        is_case1_matched = True
        try:
            store_name = browser.find_element_by_xpath('//*[@id="crumb-wrap"]/div/div[2]/div[2]/div[1]/div/a')
            print('book name:' + product_name + ', store name:' + store_name.text + "," + store_name.get_attribute('href')) 
        except NoSuchElementException as e:
            print("unable to identify the shop name in case1://*[@id='crumb-wrap']/div/div[2]/div[2]/div[1]/div/a")
            is_case1_matched = False
    
    
        if not is_case1_matched:
            try:
                store_name = browser.find_element_by_xpath('//*[@id="crumb-wrap"]/div/div[2]/div[1]/em')
                print('book name:' + product_name + ', store name:' + store_name.text)
            except NoSuchElementException as e:
                print(e)
                print("the product is JD Owned....")

## 分析 ##

在开发过程中，碰到了各类不同的问题，所以对于一个简单的爬取应用，才会变得如此复杂。  
分析点1：  
大量的wait的使用，在程序中加载一个操作很快，但是内容被完全加载出来，在时间上是不确定的，需要等待或者循环检测元素是否需要。

分析点2：  
店铺的信息在页面上是不确定的，有几个位置，所以这里采用了试错模式，在NoSuchElementException的时候，使用下一个模式进行提取，保证信息可以提取到。

分析点3：  
固定时间延迟， 在提取’下一页’的按钮信息之时，使用time.sleep（3），效果很好，某种意义上说，一般的点击和加载操作，都是需要进行wait操作的，否则有非常高的概率会出错，发生元素不存在、不可见或者已经过期之类的错误提示。

## 总结 ##

Selenium的功能非常强大了，有了这个利器，没有什么是不能爬取的。天下再也没有不好爬取的数据了。