Python 设置 IP 代理访问网页 ( 用户名密码验证代理 )

骑猪看日落 2023-05-31 07:47 21阅读 0赞

需求如下：

待爬取的页面  
![待爬取的页面][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70]  
想爬取的部分  
![想爬取的部分][20191024091731637.png]  
查看源码，在Js中有返回  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70 1]

正常访问时候，使用Firefox代理插件 FoxyProxy 设置代理才能访问到的。

![浏览器代理][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70 2]

本来想用 `Selinum`打开 `FireFox`，然后爬取表格，。不过卡在了插件，和插件自动 填充账号密码这块儿，后来发现直接用 `urlib` 做网络请求 ，然后`bs4` 解析Js获取数据更方便， 代码如下：

import urllib.request as r
    
    proxy_handler = r.ProxyHandler({ 'http': 'user:passwd@代码IP:端口号'})
    opener = r.build_opener(proxy_handler)
    r.install_opener(opener)
    response = r.urlopen('http://yarn02-prd3.xxx.com:8088/cluster/apps/RUNNING')
    html = response.read()
    # 解析
    bs = BeautifulSoup(html, "lxml") 
    appsTableData = bs.findAll('script', { 'type': 'text/javascript'})[-1]

附上一个额外的需求，每小时爬取一次，用 `apscheduler`

import os
    from apscheduler.schedulers.blocking import BlockingScheduler
    
    
    def monitor():
        os.system(r"python haddop_moni.py")
    
    if __name__ == '__main__':
        scheduler = BlockingScheduler()
        # 采用固定时间间隔（interval）的方式，每隔1H执行一次
        scheduler.add_job(monitor, 'interval', seconds=3600)
        scheduler.start()
        try:
            scheduler.start()
        except (KeyboardInterrupt, SystemExit):
            pass

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70]: /images/20230531/2200b886e7214fe2a6b87616e9541d03.png
[20191024091731637.png]: /images/20230531/e67f9727f9244179aafb4a74da197e29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70 1]: /images/20230531/32e7b872dfe34f448901a4c04fe79b13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70 2]: /images/20230531/938d47d51a8d4d93b996f59bc9416e6e.png