python爬虫之基于JS加密破解--有道翻译/百度翻译

淩亂°似流年 2023-06-22 08:29 144阅读 0赞

有道翻译破解案例(post)

  1. 目标

    破解有道翻译接口，抓取翻译结果

    结果展示

    请输入要翻译的词语: elephant
    翻译结果: 大象

    请输入要翻译的词语: 喵喵叫
    翻译结果: mews

  2. 实现步骤

    1. 1、浏览器F12开启网络抓包,Network-All,页面翻译单词后找Form表单数据
    2. 2、在页面中多翻译几个单词，观察Form表单数据变化（有数据是加密字符串）
    3. 3、刷新有道翻译页面，抓取并分析JS代码（本地JS加密）
    4. 4、找到JS加密算法，用Python按同样方式加密生成加密数据
    5. 5、将Form表单数据处理为字典，通过requests.post()的data参数发送

具体实现

  • 1、开启F12抓包，找到Form表单数据如下:

    i: 喵喵叫
    from: AUTO
    to: AUTO
    smartresult: dict
    client: fanyideskweb
    salt: 15614112641250 # 加盐
    sign: 94008208919faa19bd531acde36aac5d # 签名
    ts: 1561411264125
    bv: f4d62a2579ebb44874d7ef93ba47e822
    doctype: json
    version: 2.1
    keyfrom: fanyi.web
    action: FY_BY_REALTlME

  • 2、在页面中多翻译几个单词，观察Form表单数据变化

    salt: 15614112641250
    sign: 94008208919faa19bd531acde36aac5d
    ts: 1561411264125
    bv: f4d62a2579ebb44874d7ef93ba47e822

    但是bv的值不变

  • 3、一般为本地js文件加密，刷新页面，找到js文件并分析JS代码

    方法1

    Network - JS选项 - 搜索关键词salt

    方法2

    控制台右上角 - Search - 搜索salt - 查看文件 - 格式化输出

    最终找到相关JS文件 : fanyi.min.js

  • 4、打开JS文件，分析加密算法，用Python实现

    ts : 经过分析为13位的时间戳，字符串类型

    js代码实现: “” + (new Date).getTime()
    python实现: str(int(time.time()*1000))

    salt

    js代码实现: r+parseInt(10 * Math.random(), 10);
    python实现: ts + str(random.randint(0,9))

    sign（设置断点调试，来查看 e 的值，发现 e 为要翻译的单词） 在js代码最前面点击一下

    js代码实现: n.md5(“fanyideskweb” + e + salt + “n%A-rKaT5fb[Gy?;N5@Tj”)
    python实现:
    from hashlib import md5
    s = md5()
    s.update(“fanyideskweb” + e + salt + “n%A-rKaT5fb[Gy?;N5@Tj”.encode())
    sign = s.hexdigest()

  • 5、代码实现

    import requests
    import time
    from hashlib import md5
    import random

    获取相关加密算法的结果

    def get_salt_sign_ts(word):

    1. # salt
    2. salt = str(int(time.time()*1000)) + str(random.randint(0,9))
    3. # sign
    4. string = "fanyideskweb" + word + salt + "n%A-rKaT5fb[Gy?;N5@Tj"
    5. s = md5()
    6. s.update(string.encode())
    7. sign = s.hexdigest()
    8. # ts
    9. ts = str(int(time.time()*1000))
    10. return salt,sign,ts

    攻克有道

    def attack_yd(word):

    1. salt,sign,ts = get_salt_sign_ts(word)
    2. # url为抓包抓到的地址 F12 -> translate_o -> post
    3. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
    4. headers = { 
    5.     "Accept": "application/json, text/javascript, */*; q=0.01",
    6.     "Accept-Encoding": "gzip, deflate",
    7.     "Accept-Language": "zh-CN,zh;q=0.9",
    8.     "Connection": "keep-alive",
    9.     "Content-Length": "238",
    10.     "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    11.     "Cookie": "OUTFOX_SEARCH_USER_ID=-1449945727@10.169.0.82; OUTFOX_SEARCH_USER_ID_NCOO=1492587933.976261; JSESSIONID=aaa5_Lj5jzfQZ_IPPuaSw; ___rl__test__cookies=1559193524685",
    12.     "Host": "fanyi.youdao.com",
    13.     "Origin": "http://fanyi.youdao.com",
    14.     "Referer": "http://fanyi.youdao.com/",
    15.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
    16.     "X-Requested-With": "XMLHttpRequest",
    17. }
    18. # Form表单数据
    19. data = { 
    20.     'i': word,
    21.     'from': 'AUTO',
    22.     'to': 'AUTO',
    23.     'smartresult': 'dict',
    24.     'client': 'fanyideskweb',
    25.     'salt': salt,
    26.     'sign': sign,
    27.     'ts': ts,
    28.     'bv': 'cf156b581152bd0b259b90070b1120e6',
    29.     'doctype': 'json',
    30.     'version': '2.1',
    31.     'keyfrom': 'fanyi.web',
    32.     'action': 'FY_BY_REALTlME'
    33. }
    35. json_html = requests.post(url,data=data,headers=headers).json()
    36. result = json_html['translateResult'][0][0]['tgt']
    37. return result

    if name == ‘main‘:

    1. word = input('请输入要翻译的单词：')
    2. result = attack_yd(word)
    3. print(result)

百度翻译抓取

实现步骤

  1. 1、浏览器F12开启网络抓包,Network-All,页面翻译单词后找Form表单数据
  2. 2、在页面中多翻译几个单词，观察Form表单数据变化（有数据是加密字符串）
  3. 3、刷新百度翻译页面，抓取并分析JS代码(sign是由js生成的)
  4. 4、找到JS代码，在pycharm中新建js文件,将js代码复制到文件中
  5. 5、将js生成的sign返回给py文件,请求访问

方法

  1. 1.Network - JS选项 - 搜索关键词sign,找到sign:m(a)
  2. 2.在sign:m(a)处打断点调试,鼠标放在m处会有e(a)js函数,点击进入找到响应的js代码

JS代码(在pycharm中新建js文件,将js代码复制到文件中)

  1. function n(r, o) { 
  2.     for (var t = 0; t < o.length - 2; t += 3) { 
  3.         var a = o.charAt(t + 2);
  4.         a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
  5.             a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
  6.             r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
  7.     }
  8.     return r
  9. }
  10. var i = "320305.131321201"
  11. function e(r) { 
  12.     var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
  13.     if (null === o) { 
  14.         var t = r.length;
  15.         t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
  16.     } else { 
  17.         for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
  18.             "" !== e[C] && f.push.apply(f, a(e[C].split(""))),
  19.             C !== h - 1 && f.push(o[C]);
  20.         var g = f.length;
  21.         g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
  22.     }
  23.     var u = void 0
  24.         , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
  25.     u = null !== i ? i : (i = window[l] || "") || "";
  27.     for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) { 
  28.         var A = r.charCodeAt(v);
  29.         128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
  30.             S[c++] = A >> 18 | 240,
  31.             S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
  32.             S[c++] = A >> 6 & 63 | 128),
  33.             S[c++] = 63 & A | 128)
  34.     }
  35.     for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
  36.         p += S[b],
  37.             p = n(p, F);
  38.     return p = n(p, D),
  39.         p ^= s,
  40.     0 > p && (p = (2147483647 & p) + 2147483648),
  41.         p %= 1e6,
  42.     p.toString() + "." + (p ^ m)
  43. }

新建py文件,代码实现
安装执行js代码的库

  1. pip install PyExecJS
  3. ''' 百度翻译数据抓取 '''
  4. # 用来执行js代码
  5. import execjs
  6. import requests
  8. class BaiduTranslateJS(object):
  9.     ''' 百度翻译数据抓取 '''
  10.     def __init__(self, query):
  11.         """ :param query: 待翻译的内容 cookie 值 可能会影响到翻译结果，可以将未登陆情况下百度翻译的cookie填写。 """
  12.         self.query = query
  13.         self.url = "https://fanyi.baidu.com/v2transapi"
  14.         self.headers = { 
  15.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0",
  16.             "Cookie": "BAIDUID=AFB6E3FB47D3EEA8C525D02E728E0991:FG=1; BIDUPSID=AFB6E3FB47D3EEA8C525D02E728E0991; PSTM=1556177968; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; MCITY=-131%3A; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1556507678,1557287607,1557714510,1557972796; BDSFRCVID=xr-sJeCCxG3twro9YX2saOEfCZPT14fNd2s33J; H_BDCLCKID_SF=tR3fL-08abrqqbRGKITjhPrM2hKLbMT-027OKKO2b-oobfTyDRbHXULELn6TLT_J5eobot8bthF0HPonHj85j6bQ3J; PSINO=2; delPer=0; H_PS_PSSID=1450_28937_21095_18560_29064_28518_29098_28722_28963_28836_28584_26350; locale=zh; yjs_js_security_passport=5b9f340d92cf7400bd5ba82b49a65bc0520935cc_1558490261_js; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1558493551; to_lang_often=%5B%7B%22value%22%3A%22jp%22%2C%22text%22%3A%22%u65E5%u8BED%22%7D%2C%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%5D; from_lang_often=%5B%7B%22value%22%3A%22jp%22%2C%22text%22%3A%22%u65E5%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%2C%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%5D"
  17.         }
  18.         self.data = { 
  19.             "from": "en",
  20.             "to": "zh",
  21.             "query": self.query,  # query 即我们要翻译的的内容
  22.             "transtype": "translang",
  23.             "simple_means_flag": "3",
  24.             "sign": "",  # sign 是变化的需要我们执行js代码得到
  25.             "token": "13508e550366f3004701d561721e12bd"  # token没有变化
  26.         }
  28.     def structure_form(self):
  29.         """ 读取js文件 执行js代码得到我们苦求的sign值 构造新的表单 :return: """
  30.         with open('baidu_translate_js.js', 'r', encoding='utf-8') as f:
  31.             ctx = execjs.compile(f.read())
  32.         sign = ctx.call('e', self.query)  # e为js代码里的函数名 # self.query为要查的单词,也就是e函数需要填写的参数 sign为js代码执行的返回的结果
  33.         # print(sign)
  34.         # sign成功获取，写入date
  35.         self.data['sign'] = sign
  37.     def get_response(self):
  38.         """ 通过构造的新的表单数据，访问api，获取翻译内容 :return: 翻译结果 """
  39.         self.structure_form()
  40.         response = requests.post(self.url, headers=self.headers, data=self.data).json()
  41.         # print(response)
  42.         r = response['trans_result']['data'][0]['dst']
  43.         return r
  46. if __name__ == '__main__':
  47.     while True:
  48.         word = input('请输入要查的单词:')
  49.         baidu_translate_spider = BaiduTranslateJS(word)
  50.         result = baidu_translate_spider.get_response()
  51.         print(result)

附git地址：https://github.com/RyanLove1/spider\_code

有道翻译流程梳理

  1. 1. 打开首页
  2. 2. 准备抓包: F12开启控制台
  3. 3. 寻找地址
  4.    页面中输入翻译单词，控制台中抓取到网络数据包，查找并分析返回翻译数据的地址
  5. 4. 发现规律
  6.    找到返回具体数据的地址，在页面中多输入几个单词，找到对应URL地址，分析对比 Network - All(或者XHR) - Form Data，发现对应的规律
  7. 5. 寻找JS文件
  8.    右上角 ... -> Search -> 搜索关键字 -> 单击 -> 跳转到Sources，左下角格式化符号{ }
  9. 6、查看JS代码
  10.    搜索关键字，找到相关加密方法，分析并用python实现
  11. 7、断点调试
  12. 8、完善程序

发表评论

表情：
评论列表 （有 0 条评论，144人围观）

还没有评论，来说两句吧...

相关阅读

    相关 js逆向解析破解百度翻译

    尝试过爬取百度翻译的朋友应该都会注意到当我们在构造表单时，表单字段中有一个sign值是不断变化的，而寻找这个字段的值也正是百度翻译爬虫的难点，本篇文章专门针对这一点利用js逆向

    落日映苍穹つ落日映苍穹つ/ 0 赞/ 167 阅读