开源ImNotSpider——浏览器UserAgent生成器

╰半夏微凉° 2022-06-14 06:57 306阅读 0赞

## 爬虫经验分享 ##

很多网站判断爬虫，一般用IP+UserAgent。本项目主要解决UserAgent问题，但是个别变态（low）的  
网站使用IP来判断，这样会有一个很大的问题。比如二级运行商（长城宽带、方正宽带、宽带通）或者移动  
都是使用NAT网络，说白了，就是整个帝都长城宽带就是一个超级局域网，访问某个网站都是同一个IP，  
这就给爬虫留下机会，比如把爬虫通过长城宽带来抓内容，难不成网站要把整个帝都长城宽带都封掉？有资源的朋友可以分享下经验。

动态IP的常见解决方案：

#### ADSL拨号 ####

淘宝有很多这样的服务器售卖

#### 代理IP ####

有免费和付费的，免费的不够稳定，原理很简单，到发布免费代理的网站抓，然后测试或在使用时扔掉失败次数超过N的。  
付费的也不少，搜索“代理IP API”，一大把，没有推荐，因为我也没用过。

开发语言:Python，Python3.5 下测试通过，Python2.7应该也可以  
其他语言（Java、PHP等）也可以调用。  
使用 [https://github.com/lbp0200/ImNotSpiderWebAPI][https_github.com_lbp0200_ImNotSpiderWebAPI] ，搭建一个 Web 接口，调用 Web 接口即可

## 安装 ##

pip install git+https://github.com/lbp0200/ImNotSpiderWebAPI.git

## 使用 ##

from ImNotSpider import ImNotSpider as imsp
    ins = imsp.ImNotSpider()
    #随机
    ua = ins.random()#随机产生UserAgent，包含PC、WAP
    ua = ins.pc()#随机产生PC端浏览器的UserAgent
    ua = ins.wap()#随机产生WAP端浏览器的UserAgent
    ua = ins.pc_linux()
    ua = ins.pc_windows()
    ua = ins.pc_mac()
    ua = ins.internet_explorer()#Windows PC
    ua = ins.chrome_pc()
    ua = ins.chrome_pc_linux()
    ua = ins.chrome_pc_mac()
    ua = ins.chrome_pc_windows()
    ua = ins.firefox_pc()
    ua = ins.firefox_pc_linux()
    ua = ins.firefox_pc_mac()
    ua = ins.firefox_pc_windows()
    ua = ins.android()#随机产生WAP端安卓手机浏览器的UserAgent
    ua = ins.iphone()#随机产生WAP端Iphone浏览器的UserAgent
    ua = ins.chrome_wap()
    ua = ins.chrome_wap_android()
    ua = ins.chrome_wap_iphone()
    ua = ins.wechat()
    ua = ins.wechat_android()
    ua = ins.wechat_iphone()
    ua = ins.uc_browser_android() #UC浏览器
    ua = ins.baidu_box_app() #手机百度
    ua = ins.baidu_box_app_android()
    ua = ins.baidu_box_app_iphone()

[https_github.com_lbp0200_ImNotSpiderWebAPI]: https://github.com/lbp0200/ImNotSpiderWebAPI