Windows环境下基于python3 + selenium构建网络爬虫

迷南。 2022-04-18 02:05 254阅读 0赞

### 文章目录 ###

*  安装selenium
 *  下载响应的driver
 *  构建爬虫工程

# 安装selenium #

由于我的Windows系统上安装的Anaconda，且包含两个版本python2和python3。因此，首先我使用cmd(命令行)切换到我需要使用的python3。切换的命令如下：

activate py3

接着，使用下面的命令下载selenium：

pip install -U selenium

下载过程即结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70]

# 下载响应的driver #

根据自己的浏览器进行选择：  
Chrome: [https://sites.google.com/a/chromium.org/chromedriver/downloads][https_sites.google.com_a_chromium.org_chromedriver_downloads]  
Firefox: [https://github.com/mozilla/geckodriver/releases][https_github.com_mozilla_geckodriver_releases]  
比如我使用的是火狐浏览器:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 1]

# 构建爬虫工程 #

需要采集的网页为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 2]  
采集的内容为课程的标题，如上图所示。  
程序如下，其中解析部分使用的是BeautifulSoup

# -*- coding: utf-8 -*-
    from selenium import webdriver
    from time import sleep
    from bs4 import BeautifulSoup
    driver = webdriver.Firefox(executable_path='F:\program_work\python_work\TaobaoCrawler\driver\geckodriver.exe')
    driver.get("http://www.w3school.com.cn/b.asp")
    # 全屏幕打开
    driver.maximize_window()
    # 输出网页内容,这里选择一定的编码
    page = driver.page_source.encode('GBK', 'ignore')
    soup = BeautifulSoup(driver.page_source, "html.parser")
    courses = soup.select('#course > ul > li')
    for cour in courses:
        name = cour.text
        print(name)
    
    print(page)
    # 休息5秒
    sleep(5)
    driver.quit()

程序的输出结果如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70]: /images/20220418/9ab7ef7e077b488cb1b5355b727ab9e9.png
[https_sites.google.com_a_chromium.org_chromedriver_downloads]: https://sites.google.com/a/chromium.org/chromedriver/downloads
[https_github.com_mozilla_geckodriver_releases]: https://github.com/mozilla/geckodriver/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 1]: /images/20220418/4d7c25e88c584a5a99879edd3d527d00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 2]: /images/20220418/bb7d99851f1142bbab4b486bd7187389.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 3]: /images/20220418/39c17eb3b94d470d92a634094902006e.png