Python网页爬虫selenium，chromedriver之一

古城微笑少年丶 2023-10-18 15:36 167阅读 0赞

首先需要安装Python的selenium：

pip install selenium

然后需要安装chromedriver驱动器，chromedriver下载地址：

[http://chromedriver.storage.googleapis.com/index.html][http_chromedriver.storage.googleapis.com_index.html]

下载后解压即可：

本例中爬取的网站站点具有分页特性。原理是先把分页的数据循环读取，读到每一个分页内容后，解析里面包含的子页面，再循环访问。

特意去掉了本例具体爬取的网站站点名称。

import time
    import requests
    from selenium import webdriver
    import random
    import logging
    
    logging.basicConfig(level=logging.DEBUG,
                        format='%(asctime)s - %(levelname)s - %(message)s')
    
    TIME = 5
    
    #访问具体链接地址。
    def http_get(page_number, page_id):
        option = webdriver.ChromeOptions()
        option.set_headless()  # 不打开浏览器窗口。
        browser = webdriver.Chrome(
            options=option, executable_path=r"D:\program\chromedriver_win32\chromedriver.exe")
        browser.set_page_load_timeout(60)  # 页面加载最大时间为60秒，否则超时。
        try:
            addr = "https://*******************/details/"+str(page_id)
    
            browser.get(addr)
            t = browser.title
    
            time.sleep(random.randint(0, TIME))
    
            browser.close()
            logging.info("访问第"+str(page_number)+"页-"+t+",结束 - "+addr)
        except:
            logging.debug("访问第"+str(page_number)+"页-,错误-"+addr)
            browser.close()
    
    
    #page_number，分页的编码。
    def htttp_page(page_number):
        u = "https://**********************/list/"+str(page_number)+"?"
        r = requests.get(u)
    
        logging.info("访问第"+str(page_number)+"页")
    
        r.raise_for_status()
        tag = "data-articleid="
        parts = r.text.split()
    
        ids = []
    
        for part in parts:
            if part.startswith(tag):
                id = part.split(r'"')[1]
                ids.append(id)
    
        random.shuffle(ids)
    
        for id in ids:
            http_get(page_number, id)
            time.sleep(random.randint(0, TIME))
    
    
    while True:
        array = list(range(1, 41))
        random.shuffle(array)
        print("随机后的页码：")
        print(array)
    
        for i in array:
          htttp_page(i)
          time.sleep(random.randint(0, TIME))

注意：本文是研究性质，不是用来DO EVIL

[http_chromedriver.storage.googleapis.com_index.html]: http://chromedriver.storage.googleapis.com/index.html