python3 selenium刷新页面问量

Love The Way You Lie 2023-03-13 01:57 7阅读 0赞

### python3 selenium刷新页面问量 ###

*  seleniu为何物
 *  安装selenium
 *  代码示例

# seleniu为何物 #

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。  
Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。  
selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。  
这里要说一下比较重要的PhantomJS,PhantomJS是一个而基于WebKit的服务端JavaScript API,支持Web而不需要浏览器支持，其快速、原生支持各种Web标准：Dom处理，CSS选择器，JSON等等。PhantomJS可以用于页面自动化、网络监测、网页截屏，以及无界面测试。

# 安装selenium #

在安装python目录下的Scripts目录中打开命令行

windows

.\pip3.8.exe install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

linux

pip3.8 install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

等等安装完成后就可以在程序中使用了。

# 代码示例 #

执行上代码，刷新csdn页面访问量。

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    # @Time : 2020/5/9 11:25
    # @Author : juweigang
    # @File : flashcsdn2.py
    # @Software: win10 Tensorflow1.13.1 python3.8
    
    from selenium import webdriver
    import time
    import threading
    import requests
    from bs4 import BeautifulSoup
    
    headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36 QIHU 360EE'}
    
    # 根据页面url获取目标文字的连接地址
    def geturl(url):
        # 请求详细页面
        r = requests.get(url, headers=headers)
        # 改编码
        r.encoding = "UTF-8"
        # html.parser表示解析用的解析器
        soup = BeautifulSoup(r.text, "html.parser")
        #logging.info(soup)
        ans = soup.select(".csdn-tracking-statistics .content a")
        # 用来储存最后需要写入文件的字符串
        mlist = [];
        for tag in ans:
            # 获取a标签中的href内容，并进行目标字符串拼接
            mlist.append(tag.get('href'))
        # 返回目标字符串
        return mlist
    
    def flashcsdn():
        driver = webdriver.Chrome(r'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')
        url = 'https://blog.csdn.net/princejwg?t=1'
        j = geturl(url)
        js = 'window.open("https://blog.csdn.net/princejwg");'
        driver.execute_script(js)
        for k in range(10):
            driver.execute_script('window.open("{url}");'.format(url=j[k]))
            time.sleep(2)
        driver.quit()
    
    
    def myfunc():
        while True:
            flashcsdn()
            time.sleep(200)
    
    if __name__ == "__main__":
        threads = []
        for i in range(3):
            t = threading.Thread(target=myfunc())
            threads.append(t)
        for t in threads:
            t.start()
            t.join()