开开心心爬APP，结果一坑连一坑

小灰灰 2023-02-14 02:17 1阅读 0赞

> 本文来自「凹凸数据」读者投稿，欢迎大家分享更多优质内容！奖励多多~

大家好，我是新人三筒。

作为凹凸的铁粉，我会经常在历史消息里挖坟寻找我需要的教程。

最近因为业务需求，而要爬的数据又刚好没有对应的网页版，使我对手机爬虫教程格外感兴趣，一顿操作之后我发现，在这个过程中我遇到了一些回避不了的坑，需要跟大家分享一下。

## 前文回顾 ##

回顾一下这篇文章用Fiddler篇爬取APP的教程：抓包手机大致分为以下几步（具体的大家可以回顾[对不起，我把APP也给爬了][APP]）：

1.  安装软件，设置软件。同时在电脑上安装证书
2.  用手机连上和电脑相同的WIFI后，手机端设置代理。
3.  手机端安装证书，信任证书。
4.  打开抓包软件，刷新手机数据，观察并查找对应url。

一般来说，照这几个步骤是能够很顺利的取到数据。但是总有人脸黑，比如我。无论是用Fiddler还是Charles，都只能打开浏览器和高德地图。而打开知乎，小红书，好好住等APP却一律被拒绝访问。（oppo和小米手机都尝试过。）

![format_png][]

尽管并非所有人都会踩到这个坑，但是这种进行到90%却突然卡住的感觉真的非常膈应人，查了好几篇博客，比较靠谱的说法是：**Android7以后，APP一般不信任用户自己安装的凭据，也就是我们在手机上安装的抓包软件证书。**

解决方法有两个：

*  方法一，用Xposed拦截对证书的验证。
 *  方法二、把Fiddler/Charles的证书放进系统的证书目录里。

第一种方法仍然有坑，手机能检测到xposed拦截终还是会失败（这里我没有验证过，有兴趣的同学可以试试）。所以我选择planB，这里写下我的过程，作为一份补充参考给大家。

## Charles的配置与步骤 ##

在正餐开始之前，我简单说下Charles的配置（和Fiddler一个逻辑。只是界面稍有不同，选择用Fiddler的同学可以跳过这里直接看后面）

### Charles的配置 ###

1、软件安装基本上就是一路Next，装好以后进入主界面，进行如下设置：

![format_png 1][] Proxy》SSL Proxying Settings》Location中Add上Host：\*，Port：\* ![format_png 2][] ProxySettings》Proxies》Port设置为8888（总之手机代理上的端口号要与之相同）

2、在PC端安装证书，放置到受信任的机构。

![format_png 3][] Help》SSLProxying》InstallCharlesRootCertificate

3、打开手机的浏览器，输入弹窗中提示的链接chls.pro/ssl，下载证书安装。

![format_png 4][]

好了，到这里重点来了！

同学们,如果你该勾选的选项也勾选了，该安装的证书也安装了，端口和代理配置都么有问题，以及最重要的是，如果你在电脑端能抓到数据，手机APP却拒绝访问。

别怀疑,你一定是碰到和我一样的坑了：你的手机APP不信任你安装的Charles/fiddler证书。**我们需要想办法把它放到系统证书目录中去。**

**正餐开始。**

当然，在开始之前，你需要准备：

1.  一台root过的安卓机（最好是备用机，我用的是小米）
2.  Charles或者Fiddler的证书文件（Charles是crt文件，Fiddler是cer文件，后面获取hash值的时候会有差别）
3.  Windows系统需要下载安装openSSL工具（官网：https://www.openssl.org/,安装完后记得把openssl下的bin文件夹目录加入到环境变量中去）

好了，开始我们的操作！

#### step1 ####

手机端下载证书后先别着急安装，导到电脑上，复制下它的路径（比如我的是"D:\\证书\\charles\\getssl.crt"）

#### step2 ####

按Win+R，输入cmd，进入命令窗口，输入：

opensslx509-subject_hash_old-in"D:\证书\charles\getssl.crt"

记得in后面修改为自己的证书路径。执行后我们得到以下内容：

![format_png 5][]

红色的这串就是我们获取到的证书的hash值，这个Hash值记得保存下来。Fiddler的证书由于是cer格式是无法直接获取的，需要先导成crt格式，我会在最后补充

#### step3 ####

把证书修改成hash值.0格式。如下，别带后缀：

![format_png 6][]

#### step4 ####

将重命名好的证书放进手机的sd卡，记得复制进去的证书不可以有.crt或者.cer这样的后缀，以.0结尾才对。

![format_png 7][]

#### step5 ####

把改好名字的证书文件复制到系统的证书目录里，层级稍微有点深，路径如下（我这是小米的路径）：

![format_png 8][]

这里就会有个问题出现。直接用系统自带的文件管理器查看的话可能会获取不到完整的system文件目录，建议下载一个RE文件管理器，并且在安全中心里给予它root权限。如下（各品牌手机可能不同）：

![format_png 9][]

最后，重启下各类应用，就可以抓取了！

## Fiddler的配置与源码 ##

上面都是在说Charles，我们再讲讲Fiddler。

### Fiddler的配置 ###

其实Fiddler也是同理，需要我们获取到证书的Hash值，修改证书名后放进系统证书目录。只是因为Fiddler的证书是cer格式，我们需要多一个步骤：先把证书转成crt格式的。

同样是Win+R后输入cmd进入命令窗口。cd到你放置证书的目录，然后输入转换格式的命令。如下（记得你的文件在哪个盘就输入哪个盘，在哪个目录就输入哪个目录）：

d：
    cd Zhengshu
    openssl x509 -inform DER -in FiddlerRoot.cer -out FiddlerRoot1.crt

此目录下就会生成一个crt格式的证书，然后我们继续用上面的方法读取它的hash值。输入：

opensslx509-subject_hash_old-in FiddlerRoot.crt

得到我们想要的Hash值

![format_png 10][]

再修改好名字放入系统证书后，我们就可以正常的抓数据了。最后我们以好好住这个APP为例，看看抓下来的数据是什么样的，我们以下面这个话题为例：

![format_png 11][]

多滑动几屏，观察下哪个url是在闪烁的，这个多半就是我们要找的，或者直接从评论里摘取一段话，ctrl+F搜索。这里我们发现是下评论内容都在下面这个url里。

![format_png 12][]

也可以过滤一下监听的信息，在左下角的filter里设置成只监听该网址，看起来会更夹清爽：

![format_png 13][]

好好住这个APP的数据是很清晰的json格式，我们只需要把对应的headers,cookies等参数加上，再写个循环，就能轻松把评论爬下来了。这些信息可以在右上角的窗口观察到，如下：

![format_png 14][]

params参数如下，topic\_id对应不同的话题（不过这个id并不是固定不变的，和我上一次观察的不同）

![format_png 15][]

因为本文重点是如何突破APP的防备监听手机数据，这里我们就不详细展开写爬虫的逻辑。

### 爬虫源码 ###

完整的代码如下。

代码稍微有点丑陋大家不爬这个APP的话可以不用看。

#导入相关模块
    import requests
    import time
    import random
    #复制请求头，cookies等参数
    headers={
        'user-agent':'Dalvik/2.1.0 (Linux; U; Android 8.0.0; MI 5 MIUI/8.11.22)hhz4.7.0-did44c043bb9672a88b4eafdfb3ce276c2c-h16946635abc3f22102c7e10-uid597199-ovid_1000000000597199-proxy-emu0',
        'accept-encoding':'gzip',
        'content-type': 'application/x-www-form-urlencoded',
    }
    
    cookies={
        'visitor_token':'ovid_1000000000597199',
        'hhz_token':'8ebae5a0dd1c47223a76243ce32f1347',
        'Token':'8ebae5a0dd1c47223a76243ce32f1347'
    }
    url='https://yapi.haohaozhu.cn/topic/GetAnswerList460'
    
    remark_list=[]
    for i  in range(1,28):
        #这个参数虽然又规律但是今天我看的时候已经发生变化了，大家如果要爬的话需要重新观察下。
        params='topic_id=365&sort_type=1&current_time=1589453251&page={}&basic_info=%7B%22%24app_version%22%3A%224.7.0%22%2C%22%24carrier%22%3A%22%E5%85%B6%E4%BB%96%22%2C%22%24lib%22%3A%22Android%22%2C%22%24lib_version%22%3A%221.6.19%22%2C%22%24manufacturer%22%3A%22Xiaomi%22%2C%22%24os%22%3A%22Android%22%2C%22%24os_version%22%3A%228.0.0%22%2C%22%24screen_height%22%3A1920%2C%22%24screen_width%22%3A1080%2C%22distinct_id%22%3A%2244c043bb9672a88b4eafdfb3ce276c2c%22%7D'.format(i)
    
        #注意请求方式是POST
        res=requests.post(url,headers=headers,cookies=cookies,params=params)
        json_obj=res.json()
        data=json_obj['data']
        list=data['list']
        for content in list:
            #把评论文本提取出来
            comment_box=content['photo']['photo_info']
            comment=comment_box['remark']
            remark_list.append(comment)
            #加入停顿防止被反爬
            time.sleep(random.random())

脸黑的朋友们可以考虑下试试我的方法，也许能够解决困扰了你很久的问题。

![format_png 16][]

[![format_png 17][]][format_png 17 1]

[![format_png 18][]][format_png 18 1]

![format_png 19][]

**五**

三筒第一次投稿，大家点个在看支持一下吧![format_png 20][]

![format_png 21][]

朱小五

[APP]: https://blog.csdn.net/zhuxiao5/article/details/106168890
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVF1U3QxNGp2ZXdLM1R1Qng4Umx5dm5pYk5pYW91cDUxeG1yWENpYm5XdWhYZlBVNWlhdlBudmxPV2R3LzY0MA?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFjc2ViblhhMWJ2OEo0VkdLRGgzYUFYTTZTejVQQmV3Y3kzMlY5U1BJTnNCbzdjTGFhdEFSWEEvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFBZ2Q2c2lheTM5aWFhR0V3cWlhT2VmekZBUVczTEhjQ2JYSnMyZzU0aWFzN3FvNGQ3TFZSRnlQRDdBLzY0MA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFjdm8wM1k3aWFFcDdZNG9LNXBRcXlncEplMlp6WFRWejdod2U1OTZpYlYxWVA5YjZBVk05Ujl4dy82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFIZ3BxdkI0aWFpYk5qMGZwc2dLMzFjQlFHSGliZk5mWWhuRWlidmZIWHh1SDdBalR3b1ByNUVXaHpRLzY0MA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFSZVRkaWNSMVQ2eXBpYXpXT2lhb2IxakVGVGFYck9PMVMzajQ5MVZUMzBQMWRIaWJUaWFPVXhQSWdJdy82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFnSFhKb2ZkR1lDSmVHTnFSN2RFYXNpYWpuRHlyRmljYzdSV3VVMWg1V3J3SWlja1JzSENDaHFHYlEvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVE4MlE5aWFPV2paRTJUdnczYXFpY1BxQkRGM2ZsR1pGNmtFU2x0bGM3NjNCTnBIOW5mSXVtQ2RWZy82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVE5SzdZZEJqUzFyY0M3bWliczNoQm5KZzg2bXhCaWFzMWY0UndyT3ZpY3dncVppYTRvRkVQaWFhYVZndy82NDA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFJaE5ub3hkTW1KYVRDNk90S0lJYU5XYmliUFNyRE5UdXpTRkE4Vms3bnRJV0pvUElhdjhPRWliQS82NDA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVExU1VtOGhpYVVOcENLOGlhUjdIaDFZbFpSTENXcmo5N0xJSVFGR09SRkxHT1g4azlwZ1FBTDUyQS82NDA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVEzYU1iNGZMRkJTek1TWjE4alBSUENKQ1FvVTNkVFlzbTcyNEUyRWNDQnowNmpBc2xTU0Mwb3cvNjQw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVE3ZWpWZEpEOTdYY1hhQ2lhcjloUTRLM1dib2pVMU53R0JBSXVPZGdhZGYwRjcyeTRrWk9id1NBLzY0MA?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFSaWJFbFFoWmljc2lhYWZLTUJKUzEycXVGaG4ybFVwYmhpY0NhNlNpYjVhd3pUeTA2YlZoOFgwUmljRkEvNjQw?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFhRWZoWUxuNHJlMTNDQjc2WGlhSU5na2lhQ3lwZ0ZqWkI5clU4YUpUMFRZaWJRU2NNNENHSTNKeFEvNjQw?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9DRGljbGJmYWtVaWNZbnNlQ1NpYmhCaWJMTjNCZERmSWgyQVFNamljTmdqMjBkNjdFSk9saWE5aGtyaWJybEN5dzU1WjNkS3pVQTFkTVBKSGdYY1QxaWNYRVl5ZWljZy82NDA?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9uME5PZGpreXBYaWNjcm56N1N2UllQd3dibG5ZeVpVMnhIZnpFdDhWMUxYUEs2aWJyUTlCYVEyWUg3WkZ4M0NiWWtnWGJaZXVQVWM2UE5yQTU3RnUyeThRLzY0MA?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGg3T2cxZDB3aWJSajVmNTJjVDliRE0xUUhVSHNNOXF3TnltNll2ZjdtN3VrbXRJS2xpYUVKZk5LckduZjd1WUpqM3F4Q0MwTG9iRkRndy82NDA?x-oss-process=image/format,png
[format_png 17 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d37bbc93abeada9f2a66b4ba14d5a5e963e3a8bca28757c17590d1c1998235117c018d472&idx=1&mid=2247488063&scene=21&sn=5e526255a055a6c93e8258fcf602d089#wechat_redirect
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGlhSnFvSEk2VVNXQjZDd3BFd3F4cGhPbUI1WTBWUmZndDJpYUFpY3BvRElpYmdwYVZENEV4ZTBERGVqdWZJMGlhdFRiRGlibVBnUXBwZ2lhY3BBLzY0MA?x-oss-process=image/format,png
[format_png 18 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d34d8c93abdce39c90638f0fca465e0d5e7f5bfe910363c0d7198597952cb84c603c70289&idx=1&mid=2247487836&scene=21&sn=3aae103f33496d73d18fd8a118e5386d#wechat_redirect
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90WFlpY3Q0MHhmTGdpYWZHRm1XdFZWSEZWSzdpYlJ0eUVKT1hNczV2VjJBdVZIOFhVOTJKSlA0Y3dxbHRVSzBTTndDS01hZkNsMm9ZV3B4NjN1RXkyWDE5dy82NDA?x-oss-process=image/format,png
[format_png 20]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGdQaWJGdGFCazFTN1ZMTUIwak5NdlF3WGVzR3N5cmdzQVU2dUR2dG5FVHNwZzRwbFkwOWlhN2JnanZHVkpEMXoyUUhoTXVsbGhqSHc4US82NDA?x-oss-process=image/format,png
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGpPSDhIaFM5TEU4cFVpY3hZSHBDbkt0VWJoZER6TnFaak95UGtvYkxpY1h3eHlTbFREdmtBdEc4YjJHbnNzdERWSGx4amV1dTl3N0FrZy82NDA?x-oss-process=image/format,png