python自动化程序操作浏览器在后台访问网站

小咪咪 2024-03-22 12:51 5阅读 0赞

#### 目录 ####

*  1、简介
 *  2、详细步骤
 *  3、驱动
 *   *  3.1、ChromeDriver
     *  3.2、GeckoDriver
     *  3.3、Microsoft WebDriver
     *  3.4、下载链接
 *  4、完整代码

> ⭐在当今信息化的时代，访问网站已经成为人们生活中必不可少的一部分。

## 1、简介 ##

对于某些需要批量访问网站的任务，手动访问既费时又费力。因此，自动化批量后台访问网站的程序的需求日益增加。Python作为一门强大的编程语言，有着广泛的应用，可以很好地解决这个问题。  
本文将介绍如何用Python实现自动化批量后台访问网站的程序，并给出相应的代码实现。

## 2、详细步骤 ##

首先，我们需要安装selenium库，它是一个自动化测试工具，可以用来驱动浏览器进行网站操作。在Python中，我们可以使用pip install selenium命令进行安装。

导入time和selenium库：  
  ![在这里插入图片描述][34f4c209f7894959b6895732c34c2080.png]

time库是Python中一个与时间相关的标准库，可以提供一些时间相关的函数。而selenium库则是一个用于Web自动化测试的库，可以模拟浏览器操作。

接下来，我们创建一个谷歌浏览器对象：  
  ![在这里插入图片描述][f9806fdfeccb4218ac9c032fd323f2fd.png]

`这里我们使用了Chrome浏览器，并使用了webdriver模块的Chrome方法来创建一个浏览器对象。`需要注意的是，我们需要先安装对应版本的Chrome浏览器和对应版本的ChromeDriver驱动程序，并将驱动程序的路径添加到系统的环境变量中。

然后，我们使用with open语句来读取名为存储url.txt的文件中的URL：  
  ![在这里插入图片描述][ee7a5368a6484e7691f2ce86b9afa8d2.png]

这里我们使用了with语句，可以在with语句块结束时自动关闭文件。我们使用readlines方法来读取文件中的所有行，并将其存储在一个列表中。

接下来，我们使用一个while True循环来不断地访问URL：  
  ![在这里插入图片描述][c58ba40e76ae4350818ec792bf36c3e4.png]

在循环中，我们首先使用with open语句重新读取一遍URL，并将其存储在urls列表中。  
然后我们使用for循环来遍历urls列表中的每一个URL。  
在for循环中，我们首先使用strip方法来去掉URL中可能存在的空格和换行符。  
然后，我们使用try-except语句来访问该URL。  
如果访问成功，我们就输出访问的是第几个URL，然后暂停1秒钟。  
`需要注意的是，这里我们使用了time库的sleep方法来暂停程序执行，以免访问过于频繁被网站识别为机器人。`  
最后，我们将访问的URL的编号i加1。

## 3、驱动 ##

### 3.1、ChromeDriver ###

ChromeDriver是一个独立的可执行文件，用于在WebDriver客户端和Google Chrome浏览器之间进行通信。它作为客户端和浏览器之间的中介，促进了从客户端发送命令到浏览器，并从浏览器接收响应返回到客户端的过程。

ChromeDriver对于自动化测试和其他需要与Chrome浏览器交互的任务是必不可少的。它可以与多种编程语言一起使用，例如Java、Python等。通过使用ChromeDriver，开发人员可以编写自动化脚本来模拟用户在浏览器中的行为，例如单击按钮、填写表单和导航到不同的网页。这使得测试和其他任务可以更快速、更可靠地完成。

### 3.2、GeckoDriver ###

Firefox有一个名为GeckoDriver的驱动程序，它与ChromeDriver类似，也是一个独立的可执行文件，用于在WebDriver客户端和Firefox浏览器之间进行通信。GeckoDriver的作用与ChromeDriver类似，它可以让开发人员通过编写自动化测试脚本或其他自动化任务来模拟用户在Firefox浏览器中的行为，例如导航到不同的网页、填写表单、单击按钮等。GeckoDriver可以与多种编程语言一起使用，例如Java、Python、Ruby等。

### 3.3、Microsoft WebDriver ###

Microsoft Edge有一个名为Microsoft WebDriver的驱动程序，它与ChromeDriver和GeckoDriver类似，也是一个独立的可执行文件，用于在WebDriver客户端和Edge浏览器之间进行通信。Microsoft WebDriver的作用与其他WebDriver驱动程序类似，它可以让开发人员通过编写自动化测试脚本或其他自动化任务来模拟用户在Edge浏览器中的行为，例如导航到不同的网页、填写表单、单击按钮等。Microsoft WebDriver可以与多种编程语言一起使用，例如Java、Python、C\#等。

### 3.4、下载链接 ###

在以下链接下载ChromeDriver、GeckoDriver和Microsoft WebDriver：

1.  ChromeDriver下载链接：[https://sites.google.com/a/chromium.org/chromedriver/downloads][https_sites.google.com_a_chromium.org_chromedriver_downloads]
2.  GeckoDriver下载链接：[https://github.com/mozilla/geckodriver/releases][https_github.com_mozilla_geckodriver_releases]
3.  Microsoft WebDriver下载链接：[https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/][https_developer.microsoft.com_en-us_microsoft-edge_tools_webdriver]

这些链接提供了不同平台的驱动程序下载，例如Windows、Mac和Linux等操作系统。你需要根据你的操作系统类型和浏览器版本下载相应的驱动程序。下载完成后，你需要将驱动程序添加到系统的PATH环境变量中，以便WebDriver客户端可以找到驱动程序并与浏览器进行通信。

## 4、完整代码 ##

接下来，是完整代码实现，可以实现自动化批量后台访问网站的程序：

import time
    from selenium import webdriver
    
    # 创建谷歌浏览器对象
    browser = webdriver.Chrome()
    
    with open('存储url.txt', 'r') as f:
        urls = f.readlines()
    
    while True:
        with open('URL.txt', 'r') as f:
            urls = f.readlines()
        i = 1
        for url in urls:
            url = url.strip()
            try:
                browser.get(url)
            except:
                print("失败")
            else:
                print("访问第%d篇" % i)
                time.sleep(1)
                i += 1

URL应该一行一个，不要有多余的空行。

通过上述代码的实现，我们可以方便地进行自动化批量后台访问网站的任务，实现高效的网站操作。

[34f4c209f7894959b6895732c34c2080.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2389afceed0b459c85f77a1301cd06b9.png
[f9806fdfeccb4218ac9c032fd323f2fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/3a664c3cca134abe8b71db7916c746ee.png
[ee7a5368a6484e7691f2ce86b9afa8d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/203112e279194e67a77672847ebadb18.png
[c58ba40e76ae4350818ec792bf36c3e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0967e4bc694344bf9c1537812fd6a0b1.png
[https_sites.google.com_a_chromium.org_chromedriver_downloads]: https://sites.google.com/a/chromium.org/chromedriver/downloads
[https_github.com_mozilla_geckodriver_releases]: https://github.com/mozilla/geckodriver/releases
[https_developer.microsoft.com_en-us_microsoft-edge_tools_webdriver]: https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/