Python爬虫之ip代理池

系统管理员 2023-10-11 13:15 17阅读 0赞

可能在学习爬虫的时候，遇到很多的反爬的手段，封ip 就是其中之一。

对于封IP的网站。需要很多的代理IP，去买代理IP，对于初学者觉得没有必要，每个卖代理IP的网站有的提供了免费IP，可是又很少，写了个IP代理池 。学习应该就够了

ip代理池：

1，在各大网站爬去免费代理ip
    2，检查ip可用 可用存入数据库1和2
    3，在数据库1中拿出少量代理ip存入数据库2（方便维护）
    4，定时检查数据库1和数据库2的代理数量，以及是否可用
    5，调用端口

1，在各大网站爬去免费代理ip

1 def IPList_61():
     2   for q in [1,2]:
     3       url='http://www.66ip.cn/'+str(q)+'.html'
     4       html=Requestdef.get_page(url)
     5       if html!=None:
     6           #print(html)
     7           iplist=BeautifulSoup(html,'lxml')
     8           iplist=iplist.find_all('tr')
     9           i=2
    10           for ip in iplist:
    11              if i<=0:
    12                  loader=''
    13                  #print(ip)
    14                  j=0
    15                  for ipport in ip.find_all('td',limit=2):
    16                      if j==0:
    17                         loader+=ipport.text.strip()+':'
    18                      else:
    19                          loader+=ipport.text.strip()
    20                      j=j+1
    21                  Requestdef.inspect_ip(loader)
    22              i=i-1
    23       time.sleep(1)

多写几个这样的方法

![797834-20180907184400116-829283129.png][]

2，检查ip可用 可用存入数据库1，和2
    
    3，在数据库1中拿出少量代理ip存入数据库2（方便维护）

def inspect_ip(ipprot):
     2     time.sleep(1)
     3     herder={
     4         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",
     5         'Accept-Encoding':'gzip, deflate',
     6         'Accept-Language':'zh-CN,zh;q=0.9',
     7         'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
     8         'Upgrade-Insecure-Requests':'1'
     9 
    10     }
    11 
    12     url='https://www.baidu.com'
    13     proxies = { "http": "http://"+str(ipprot) }
    14     request=requests.get(url,headers=herder,proxies=proxies)
    15     if request.status_code==200:
    16         print('可用代理'+ipprot)
    17         if Db.r.llen('Iplist')<=50:
    18            Db.add_ip(ipprot)
    19         #Alt.iplist.append(ipprot)
    20 
    21         else:
    22            Db.add_ips(ipprot)
    23     else:
    24         print('不可用代理'+ipprot)

我这里是用的www.baidu.com检测的 给主IP的数据库长度是50 （太多了不好维护）

4，定时检查数据库1和数据库2的代理数量，以及是否可用

#检查ip池数量
    def time_ip():
    
        while True:
            time.sleep(5)
            Db.act_lenip()
    
    #检查备用池数量
    def time_ips():
        while True:
            time.sleep(30)
            #当备用池数量小于100 再次获取
            if Db.len_ips()<100:
                print('填数据')
                Acting_ip.iplist()
    #程序入口
    if __name__ == '__main__':
    
      t1=threading.Thread(target=time_ip)
      t1.start()
      t2=threading.Thread(target=time_ips)
      t2.start()
      t1.join()
      t2.join()

给他2个线程

Db.py

1 #coding:utf-8
     2 import redis
     3 import Requestdef
     4 r = redis.Redis(host='127.0.0.1', port=6379)#host后的IP是需要连接的ip，本地是127.0.0.1或者localhost
     5 #主ip池
     6 def add_ip(ip):
     7      r.lpush('Iplist',ip)
     8 #备用ip池
     9 def add_ips(ip):
    10      r.lpush('Iplists',ip)
    11 #备用ip池第一个开始取出
    12 def app_ips():
    13      i=str(r.lindex('Iplists',1),encoding='utf-8')
    14      r.lrem('Iplists',i,num=0)
    15      return i
    16 def len_ips():
    17     return r.llen('Iplists')
    18 def len_ip():
    19     return r.llen('Iplist')
    20 #第一个开始取出
    21 def app_ip():
    22      i=str(r.lpop('Iplist'),encoding='utf-8')
    23      return i
    24 #取出从最后一个开始
    25 def rem_ip():
    26     i=str(r.rpop('Iplist'),encoding='utf-8')
    27     return i
    28 #检查主ip池
    29 def act_db():
    30     for i in range(int(r.llen('Iplist')/2)):
    31        Requestdef.inspect_ip(rem_ip())
    32 
    33 #如果ip池数量少于25个 则填满
    34 def act_lenip():
    35     if r.llen('Iplist')<25:
    36         print('填ip')
    37         while r.llen('Iplist')<=50:
    38           Requestdef.inspect_ip(app_ips())

5，调用端口 使用flask库创建接口

1 from flask import Flask
     2 import Db
     3 
     4 app = Flask(__name__)
     5 
     6 @app.route('/', methods=['GET'])
     7 def home():
     8     return 'What is?'
     9 
    10 @app.route('/get', methods=['GET'])
    11 def homsse():
    12     return Db.app_ip()
    13 #线程池数量
    14 @app.route('/count', methods=['GET'])
    15 def homsssse():
    16     return str(Db.len_ip())
    17 app.run(debug=True)

就完成了

运行api

![797834-20180907185732804-2027002272.png][]

![797834-20180907190101815-1550660549.png][]

数据库里面的 Iplist为主Ip池 iplist 为备用ip池

用get调用 用一次就删一个

![797834-20180907190415502-784582221.png][]

![797834-20180907190457962-818036169.png][]

小白代码

转载于:https://www.cnblogs.com/ruogu/p/9606599.html

[797834-20180907184400116-829283129.png]: https://images2018.cnblogs.com/blog/797834/201809/797834-20180907184400116-829283129.png
[797834-20180907185732804-2027002272.png]: https://images2018.cnblogs.com/blog/797834/201809/797834-20180907185732804-2027002272.png
[797834-20180907190101815-1550660549.png]: https://images2018.cnblogs.com/blog/797834/201809/797834-20180907190101815-1550660549.png
[797834-20180907190415502-784582221.png]: https://images2018.cnblogs.com/blog/797834/201809/797834-20180907190415502-784582221.png
[797834-20180907190457962-818036169.png]: https://images2018.cnblogs.com/blog/797834/201809/797834-20180907190457962-818036169.png