浏览器模拟之python+selenium+mitmproxy

布满荆棘的人生 2023-06-27 08:46 155阅读 0赞

做爬虫最大的困扰就是对方的反爬措施，最好不要强攻，能绕过就绕过，毕竟上网需要科学

selenium 指纹被做了记号如何破？这个时候说明对方已经检测了你的行为特征，这是一个比较严肃的问题，尤其是在破解滑动验证码的时候

大厂的技术团队还是给了我们一个更难解决的问题，就是通过 js 给 webdriver 请求响应错误信息，所以我们要做的是把这些影响科学上网的 js 代码给废掉

这里的方法是通过 mitmproxy 蔽掉识别 webdriver 标识符的 js 文件。

**1. mitmproxy 安装。**

pip install mitmproxy

**2. 启动 mitmproxy 并指定端口。**(这一步只是运行方式，这里这一步可以不用运行)

**windows：**mitmdump -p 8001

**Linux：**mitmproxy -p 8001

3. 新建文件 httpproxy.py

# -*- encoding: utf-8 -*-
    import re
    INJECT_TEXT = 'Object.defineProperties(navigator,{webdriver:{get:() => false}});Object.defineProperty(navigator, "plugins", {get: () => new Array(Math.floor(Math.random() * 6) + 1),});Object.defineProperty(navigator, "languages", {get: function() {return ["en", "es"];}});'
    
    def response(flow):
        match = re.search(r'\.js$',flow.request.url)
        if match:
            # 屏蔽selenium检测
            flow.response.text = INJECT_TEXT + flow.response.text
            print('注入成功')
            #flow.response.text = flow.response.text + INJECT_TEXT

4. 将 mitmproxy.py 挂载起来

mitmdump -s httpproxy.py -p 9090

5. selenium 连接端口并运行程序

# -*- encoding: utf-8 -*-
    
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    
    options = Options()
    options.add_argument('--proxy-server=http://127.0.0.1:9090')
    
    driver = webdriver.Chrome(options=options)
    url = 'https://www.zhihu.com/'
    
    driver.get(url)
    
    web = driver.execute_script("return window.navigator.webdriver")
    print (web)
    driver.close()
    
    # 输出
    False

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5Mzc3NDE4_size_16_color_FFFFFF_t_70][]

这些简单的 js 对于普通的问题不大，这个地方对 js 功底要求还是很严格的

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5Mzc3NDE4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020010517351885.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5Mzc3NDE4,size_16,color_FFFFFF,t_70