不止是签名验证（sign）反爬虫

水深无声 2023-07-20 12:19 62阅读 0赞

### 文章目录 ###

*   *  签名验证反爬虫
     *   *  签名验证的结果
         *  签名验证的作用
         *  签名验证的方式
     *  签名验证发爬虫原理与实现
     *   *  有道翻译反爬虫
         *  代码实现验证
     *  关注不迷路哦

## 签名验证反爬虫 ##

### 签名验证的结果 ###

签名是根据数据源进行计算或加密的过程，签名的结果是一个具有唯一性和一致性的字符串。签名结果的特征使得它成为验证数据来源和数据完整性的条件，可以有效避免服务器端将伪造的数据或篡改的数据当成正常数据处理。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70]

### 签名验证的作用 ###

签名验证时防止恶意连接和数据被篡改的有效方式之一，也是目前后端API最常见的防护方式之一。与Cookie，User-Aget，Host和Referer等请求头域不同，用于签名验证的信息通常被放在请求正文中发送到服务器端。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 1]

### 签名验证的方式 ###

签名验证有很多种实现方式，但是原理都是相同的：由客服端生成一些随机值和不可逆的MD5加密字符串，并在发起请求时将这些值发送给服务器端。服务器端使用相同的方式对随机值进行计算以及MD5加密，如果服务器端得到的MD5值与前端提交的MD5值相同，就代表时正常请求，否则返回error或者403.

def hex5(self,value):
            #使用 MD5 加密值并返回加密后的字符串
            manipulator = hashlib.md5()
            manipulator.update(value.encode('utf-8'))
            return manipulator.hexdigest()

## 签名验证发爬虫原理与实现 ##

### 有道翻译反爬虫 ###

有道翻译Web端就是使用了验证签名的反爬手段。

*  action和keyfrom 用来区分客户端类型
 *  sign，salt，ts和bv时随机生成的反爬虫字符串
 *  sign和bv的值都是32位的随机字符串，是MD5加密后得到的值
 *  salt的值比ts多1位，并且多出的值在0，9中随机生成。

### 代码实现验证 ###

#有道翻译sign验证反爬虫
    """
    有道翻译使用的sign验证加密，每次使用翻译都会调用fanyi.min.js
        var r = function(e) {
            var t = n.md5(navigator.appVersion)
              , r = "" + (new Date).getTime()
              , i = r + parseInt(10 * Math.random(), 10);
            return {
                ts: r,
                bv: t,
                salt: i,
                sign: n.md5("fanyideskweb" + e + i + "Nw(nmmbP%A-r6U3EUn]Aj")
            }
        };
    i: 编程
    from: AUTO
    to: AUTO
    smartresult: dict
    client: fanyideskweb
    salt: 15857193851803 #当前时间戳和0-9的随机数字组合成新的字符串
    sign: 45f5ec022c8e5c8dbd61af2acd4a0428 #md5加密("fanyideskweb" + e + i + "Nw(nmmbP%A-r6U3EUn]Aj")
    ts: 1585719385180  #获取当前时间的时间戳
    bv: f0ece28f714caaf3c6cee92884b1a685  #获取用MD5加密的浏览器信息
    doctype: json
    version: 2.1
    keyfrom: fanyi.web
    action: FY_BY_CLICKBUTTION
    
    """
    import hashlib
    import json
    import requests
    import time
    import random
    class YouDao(object):
    
        def __init__(self,i):
            self.query = i
            self.url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
            self.headers = {
            "Cookie": "OUTFOX_SEARCH_USER_ID=-286220249@10.108.160.17;",
            "Referer": "http://fanyi.youdao.com/",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
            }
    
        def hex5(self,value):
            #使用 MD5 加密值并返回加密后的字符串
            manipulator = hashlib.md5()
            manipulator.update(value.encode('utf-8'))
            return manipulator.hexdigest()
    
        def getRequest(self,data):
    
            response = requests.post(url=self.url,headers=self.headers,data=data)
            if response.status_code == 200:
                return response.content.decode('utf-8')
    
    
        def getSalt(self,ts):
            t = str(random.randint(1,10))
            salt = ts+t
            return salt
    
        def getSign(self,e,i):
            #n.md5("fanyideskweb" + e + i + "Nw(nmmbP%A-r6U3EUn]Aj")
            data = "fanyideskweb" + e + i + "Nw(nmmbP%A-r6U3EUn]Aj"
            sign = self.hex5(data)
            return sign
    
        def getTs(self):
            ts = str(int(time.time()*1000))
            return ts
    
        def get_bv(self):
            navigator_appVersion = "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
            bv = hashlib.md5(navigator_appVersion.encode("utf-8")).hexdigest()
            return bv
    
        def parse(self,response):
            tgt = json.loads(response)['translateResult'][0][0]['tgt']
            return tgt
    
        def run(self):
            ts = self.getTs()
            salt = self.getSalt(ts)
            sign = self.getSign(self.query,salt)
            ts = self.getTs()
            bv = self.get_bv()
            data = {
                'i': self.query,
                'from': 'AUTO',
                'to': 'AUTO',
                'smartresult': 'dict',
                'client': 'fanyideskweb',
                'salt': salt,
                'sign': sign,
                'ts': ts,
                'bv': bv,
                'doctype': 'json',
                'version': '2.1',
                'keyfrom': 'fanyi.web',
                'action': 'FY_BY_CLICKBUTTION'
            }
    
            response = self.getRequest(data)
            tgt = self.parse(response)
            print(tgt)
    
    if __name__ == '__main__':
        youdao = YouDao('你好，世界')
        youdao.run()

## 关注不迷路哦 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70]: /images/20230528/fbceba2c167f40c78380e0d272a6624b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 1]: /images/20230528/103adab423b848af8f47412a2be5e339.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 2]: /images/20230528/9a1665cc6aa24a3d951e9ff406192fbb.png