Python爬取抖音APP热点榜数据

逃离我推掉我的手 2023-01-07 03:53 353阅读 0赞

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于IT共享之家 ，作者IT共享者

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音 为例，我们想要抓取抖音的热点榜数据。

![0fb53c8917ef99689b47671d19525b61.png][]

要知道，这个数据是没有网页版的，只能从手机端下手。

首先我们要安装charles抓包APP数据，它是一款收费的抓包修改工具，易上手，数据请求容易控制，修改简单，抓取数据的开始暂停方便等优势，网上也有汉化版，下载地址为http://www.zdfans.com/html/42074.html，一路默认安装就ok了。

安装完成后要设置代理，依次点击代理——代理设置。

![c94165234ee33e31a2b22e5593207f38.png][]

然后在手机端设置代理，如下图所示：

![83aa03572a12eb73e92192b82019bfa7.png][]

在保证手机和电脑在同一局域网的情况下，代理服务器主机名设为电脑的ip地址，端口设为8888。

最后在电脑端和手机端分别安装证书。

电脑端安装方法：依次点击帮助——ssl代理——安装charles root证书 ，按下图进行安装。

![44c50f22745f8a85b9c1045bff098082.png][]

手机端安装方式：帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。

再在模拟器浏览器中输入chls.pro/ssl，会自动下载手机端证书

最后再手机端依次点击设置——安全——从SD卡安装。

![6d59ad476c0037ae3bcf5069c0811f7e.png][]

为证书命名，点击确认就安装成功了。

打开charles，然后打开抖音app的热点榜界面，在charles很容易就找到了数据接口，一次就返回了50条数据，如下图所示。

![b01e3f05fa5453434b02e061d7a72a06.png][]

它的url信息如下图所示。

![0aae57b872125e8edaca026ed307c168.png][]

此接口只能返回这一时刻的热点数据，要想返回新的数据，就要变换参数信息，但是App端的数据接口参数都比较复杂，这里我们不再深入分析。

为了解决这一问题，我们可以用appium定时模拟操控手机，然后用mitmproxy把数据拦截下来（关于appium、mitmproxy的简介与安装网上有很多教程，这里不再赘述）

Appium脚本如下图所示：

![3f91b35cb87796e038fb9740aaac608a.png][]

这个自动化测试脚本比较简单，主要是重复获取热点最新信息。

Mitmproxy脚本如图：

![fd6e9ba1e2e8379deb8880834637b7cb.png][]

有4点需要注意的地方：

1.  用mitmproxy抓包前，先把手机代理ip端口设置为8080，设置方法同上；
2.  要想在此脚本运行外置函数，必须加上前两行，要不然会出错；
3.  脚本中if url in flow.request.url为数据流判断条件，如果url在该数据流的url请求数据中，则判断该数据为抖音app热点数据；
4.  最后在脚本所在路径运行以下程序：

![16b31bd7e24f1c3be4d04e8d88717c26.png][]

最后再运行appium自动化测试脚本，就大功告成了。

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221119/c447a2b9687f441089814007ce46f554.png
[0fb53c8917ef99689b47671d19525b61.png]: /images/20221119/7dcbc660f6fa46499b1b0e267fe4f190.png
[c94165234ee33e31a2b22e5593207f38.png]: https://img-blog.csdnimg.cn/img_convert/c94165234ee33e31a2b22e5593207f38.png
[83aa03572a12eb73e92192b82019bfa7.png]: https://img-blog.csdnimg.cn/img_convert/83aa03572a12eb73e92192b82019bfa7.png
[44c50f22745f8a85b9c1045bff098082.png]: https://img-blog.csdnimg.cn/img_convert/44c50f22745f8a85b9c1045bff098082.png
[6d59ad476c0037ae3bcf5069c0811f7e.png]: https://img-blog.csdnimg.cn/img_convert/6d59ad476c0037ae3bcf5069c0811f7e.png
[b01e3f05fa5453434b02e061d7a72a06.png]: https://img-blog.csdnimg.cn/img_convert/b01e3f05fa5453434b02e061d7a72a06.png
[0aae57b872125e8edaca026ed307c168.png]: https://img-blog.csdnimg.cn/img_convert/0aae57b872125e8edaca026ed307c168.png
[3f91b35cb87796e038fb9740aaac608a.png]: https://img-blog.csdnimg.cn/img_convert/3f91b35cb87796e038fb9740aaac608a.png
[fd6e9ba1e2e8379deb8880834637b7cb.png]: https://img-blog.csdnimg.cn/img_convert/fd6e9ba1e2e8379deb8880834637b7cb.png
[16b31bd7e24f1c3be4d04e8d88717c26.png]: https://img-blog.csdnimg.cn/img_convert/16b31bd7e24f1c3be4d04e8d88717c26.png