Mechanize模拟浏览器

淩亂°似流年 2021-09-13 23:38 315阅读 0赞

# 简介： #

Mechanize 是一个 Python 模块，用于模拟浏览器。由于考虑到爬虫所需要的是数据，所以该模块完全可以绕过验证码，直接使用 Cookie 登录就可以了。但是 Mechanize 模块使用 Cookie 登录，Cookie 的生存期较短，而且该模块也不支持 JavaScript。总体来说，该模块在面对验证码问题，算是个非常好的办法，应推荐使用。

--------------------

# 该模块的具体用法如下 #

## 使用方法一 ##

import mechanize #导入模块
    
    br = mechanize.Browser()
    br.set_handle_equiv(True)
    br.set_handle_redirect(True)
    br.set_handle_referer(True)
    br.set_handle_robots(False)
    br.set_handle_gzip(False)
    br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
    
    header = [
    
    ('Cookie', 'PHPSESSID=11eb50f5bec637ec3506307daf1e02ea; ECS_ID=ef9ff8c13f0c4215c7935da16a7b206ca03c44fa; bdshare_firstime=1484752989129; Hm_lvt_6424edc88ffc5606738fadb6f51be89f=1484574708,1484752969; Hm_lpvt_6424edc88ffc5606738fadb6f51be89f=1484757613'), 
    
    ('User-Agent', 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/55.0.2883.87 Chrome/55.0.2883.87 Safari/537.36')
    
    ] 
    #获取用户登录百度后的Request Headers里面的Cookie值 和 User-Agent，
    #其中，Cookie含有账号和密码信息，User-Agent是说明该请求是浏览器请求的，不是网络爬虫。
    #需要注意的是，这些Cookie和User-Agent值，根据自己的情况去设置
    
    br.addheaders = getHeaders(header)
    
    #以上都是初始化操作，下面正式操作
    br.open('https://www.baidu.com') #打开百度
    
    result = br.response().read() #输出该网页的代码内容，
    
    #若接触过BeautifulSoup，可以将获得的 result 网页内容,用于以下方法处理：
    
    soup = BeautifulSoup(result,'lxml')#剩下的，可以用 BeautifulSoup的知识去解决了
    
    #在安装好必要的模块后，以上代码可以直接拿过来使用

--------------------

## 使用方法二 ##

Mechanize模拟浏览器还有其他一些操作，如下

for form in br.forms():
        print(form)

输出结果如下：

<f GET https://www.baidu.com/s application/x-www-form-urlencoded <HiddenControl(ie=utf-8) (readonly)> <HiddenControl(f=8) (readonly)> <HiddenControl(rsv_bp=1) (readonly)> <HiddenControl(rsv_idx=1) (readonly)> <HiddenControl(ch=) (readonly)> <HiddenControl(tn=baidu) (readonly)> <HiddenControl(bar=) (readonly)> <TextControl(wd=)> <SubmitControl(<None>=百度一下) (readonly)> <HiddenControl(rn=) (readonly)> <HiddenControl(oq=) (readonly)> <HiddenControl(rsv_pq=8e85a2600001382e) (readonly)> <HiddenControl(rsv_t=e2292vaXa6IOboaARHGB3ajcHkUM/7/UPf2NufNR+ninqHO+83EQ8YY76sg) (readonly)> <HiddenControl(rqlang=cn) (readonly)>>

从输出的结果可以看出，其中< HiddenControl(f=8) (readonly) >是以 名字为 f 的框架（有时候框架没有名字，那就只能使用它们的顺序来选择）；输入文字的位置为文本输入框 < TextControl(wd=) >。选择框架，在框架内输入数据后提交数据。以搜索“Python 网络爬虫” 为例，

br.select_form(name='f')
    br.form['wd'] = 'Python 网络爬虫'
    br.submit() # 提交
    result = br.response().read() 
    
    #输出结果，可以将结果用BeautifulSoup来处理，即soup = BeautifulSoup(result,'lxml')，然后提取想要的数据

--------------------

## 使用方法三 ##

查看返回页面的链接，例如：

for link in br.links():
        print("%s : %s" %(link.url,link.text))

--------------------

## 使用方法四 ##

使用mechanize浏览器打开指定链接，例如：

newLink = br.click_link(text='自己动手写网络爬虫')
    br.open(newLink)