App的数据如何用python抓取

痛定思痛。 2023-07-21 06:06 22阅读 0赞

# #

前言

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

App中的数据可以用网络爬虫抓取么

答案是完全肯定的：凡是可以看到的APP数据都可以抓取。

下面我就介绍下自己的学习经验和一些方法吧 本篇适合有过web爬虫基础的程序猿看

没有的的话学的可能会吃力一些

# #

App接口爬取数据过程

*  使用抓包工具
 *  手机使用代理，app所有请求通过抓包工具
 *  获得接口，分析接口
 *  反编译apk获取key
 *  突破反爬限制

# #

需要的工具：

*  夜神模拟器
 *  Fiddler
 *  Pycharm

# #

实现过程

首先下载夜神模拟器模拟手机也可以用真机，然后下载Fiddler抓取手机APP数据包，分析接口完成以后使用Python实现爬虫程序

# #

Fiddler安装配置过程

第一步：下载神器Fiddler

Fiddler下载完成之后，傻瓜式的安装一下！

第二步：设置Fiddler

打开Fiddler, Tools-> Fiddler Options (配置完后记得要重启Fiddler)

选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求

选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来

![format_png][]

![format_png 1][]

记住这个端口号是:8888

# #

夜神模拟器安装配置过程

第一步:下载安装

*  [夜神模拟器][Link 1]下载完成之后，傻瓜式的安装一下！

第二步:配置桥接 实现互通

*  首先将当前手机网络桥接到本电脑网络 实现互通

![format_png 2][]

![format_png 3][]

安装完成桥接驱动后配置IP地址，要配成和本机互通的网段，配置完成后打开主机cmd终端ping通ok

## ##

第三步:配置代理

1.  打开主机cmd

![format_png 4][]

2、输入ipconfig查看本机IP

![format_png 5][]

3、配置代理

进入夜神模拟器–打开设置–打开WLAN

![format_png 6][]

点击修改网络–配置代理 如下图：

![format_png 7][]

配置完后保存

到这里我们就设置好所有的值，下面就来测试一下，打开手机的超级课程表APP

![format_png 8][]

4、在夜神模拟器上下载你想爬取得App使用Fiddler抓包分析api后使用python进行爬取就可以了

# #

爬取充电网APP实例

爬取部分内容截图：

![format_png 9][]

部分python代码分享：

import requests
    import city
    import json
    import jsonpath
    import re
    
    
    city_list = city.jsons
    tags_list = city.Tag
    
    def city_func(city_id):
        try:
            city = jsonpath.jsonpath(city_list, '$..sub[?(@.code=={})]'.format(int(city_id)))[0]["name"]
        except:
            city = jsonpath.jsonpath(city_list, '$[?(@.code=={})]'.format(int(city_id)))[0]["name"]
        return city
    
    def tags_func(tags_id):
        tags_join = []
        if tags_id:
            for tags in tags_id:
                t = jsonpath.jsonpath(tags_list,'$..spotFilterTags[?(@.id=={})]'.format(int(tags)))
                tags_join.append(t[0]["title"])
    
        return ('-'.join(tags_join))
    
    def split_n(ags):
        return re.sub('\n','  ',ags)
    
    
    def request(page):
        print('开始下载第%d页'%page)
        url = 'https://app-api.chargerlink.com/spot/searchSpot'
        two_url = "https://app-api.chargerlink.com/spot/getSpotDetail?spotId={d}"
        head = {
            "device": "client=android&cityName=%E5%8C%97%E4%BA%AC%E5%B8%82&cityCode=110106&lng=116.32154281224254&device_id=8A261C9D60ACEBDED7CD3706C92DD68E&ver=3.7.7&lat=39.895024107858724&network=WIFI&os_version=19",
            "appId": "20171010",
            "timestamp": "1532342711477",
            "signature": "36daaa33e7b0d5d29ac9c64a2ce6c4cf",
            "forcecheck": "1",
            "Content-Type": "application/x-www-form-urlencoded",
            "Content-Length": "68",
            "Host": "app-api.chargerlink.com",
            "Connection": "Keep-Alive",
            "User-Agent": "okhttp/3.2.0"
        }
    
    
        data = {
            "userFilter[operateType]": 2,
            "cityCode": 110000,
            "sort": 1,
            "page": page,
            "limit": 10,
        }
    
        response = requests.post(url,data=data,headers=head)
        #获取数据
        data = response.json()
        for i in data['data']:
            c = []
            id = i['id']
            name = i["name"] #充电桩名
            phone = i["phone"] #手机号
            num = i['quantity'] #有几个充电桩
            city = city_func(i["provinceCode"]) #城市
            tags =tags_func(i["tags"].split(','))#标签
            message = c + [id,name,phone,num,city,tags]
            parse_info(two_url.format(d=id),message)
    
    def parse_info(url,message):
    
        #打开文件
        with open('car.csv','a',encoding='utf-8')as c:
            head = {
                "device": "client=android&cityName=&cityCode=&lng=116.32154281224254&device_id=8A261C9D60ACEBDED7CD3706C92DD68E&ver=3.7.7&lat=39.895024107858724&network=WIFI&os_version=19",
                "TOKEN": "036c8e24266c9089db50899287a99e65dc3bf95f",
                "appId": "20171010",
                "timestamp": "1532357165598",
                "signature": "734ecec249f86193d6e54449ec5e8ff6",
                "forcecheck": "1",
                "Host": "app-api.chargerlink.com",
                "Connection": "Keep-Alive",
                "User-Agent": "okhttp/3.2.0",
            }
            #发起详情请求
            res = requests.get(url,headers=head)
            price = split_n(jsonpath.jsonpath(json.loads(res.text),'$..chargingFeeDesc')[0]) #价钱
            payType = jsonpath.jsonpath(json.loads(res.text),'$..payTypeDesc')[0] #支付方式
            businessTime =split_n(jsonpath.jsonpath(json.loads(res.text),'$..businessTime')[0]) #营业时间
            result = (message + [price,payType,businessTime])
            r = ','.join([str(i) for i in result])+',\n'
            c.write(r)
    
    def get_page():
        url = 'https://app-api.chargerlink.com/spot/searchSpot'
        head = {
            "device": "client=android&cityName=%E5%8C%97%E4%BA%AC%E5%B8%82&cityCode=110106&lng=116.32154281224254&device_id=8A261C9D60ACEBDED7CD3706C92DD68E&ver=3.7.7&lat=39.895024107858724&network=WIFI&os_version=19",
            "appId": "20171010",
            "timestamp": "1532342711477",
            "signature": "36daaa33e7b0d5d29ac9c64a2ce6c4cf",
            "forcecheck": "1",
            "Content-Type": "application/x-www-form-urlencoded",
            "Content-Length": "68",
            "Host": "app-api.chargerlink.com",
            "Connection": "Keep-Alive",
            "User-Agent": "okhttp/3.2.0"
        }
    
        data = {
            "userFilter[operateType]": 2,
            "cityCode": 110000,
            "sort": 1,
            "page": 1,
            "limit": 10,
        }
        response = requests.post(url, data=data, headers=head)
        # 获取数据
        data = response.json()
        total = (data["pager"]["total"])
        page_Size = (data["pager"]["pageSize"])
        totalPage = (data['pager']["totalPage"])
        print('当前共有{total}个充电桩，每页展示{page_Size}个，共{totalPage}页'.format(total=total,page_Size=page_Size,totalPage=totalPage))
    if __name__ == '__main__':
        get_page()
        start = int(input("亲,请输入您要获取的开始页:"))
        end = int(input("亲,请输入您要获取的结束页:"))
        for  i in range(start,end+1):
            request(i)

作者：NicePython

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取[http://t.cn/A6Zvjdun][http_t.cn_A6Zvjdun]

# #

2020年最新Python教程：

如果你处于想学Python或者正在学习Python，Python的教程不少了吧，但是是最新的吗？

说不定你学了可能是两年前人家就学过的内容，在这小编分享一波2020最新的Python教程。

![format_png 10][]

![format_png 11][]

![format_png 12][]

![format_png 13][]

以上这些教程小编已经为大家打包准备好了，希望对正在学习的你有所帮助！

[format_png]: /images/20230528/dad676cbaace484d9118c092c4d26e91.png
[format_png 1]: /images/20230528/2367607328fd4ffbb127ca734366160a.png
[Link 1]: https://link.zhihu.com/?target=https%3A//www.yeshen.com/
[format_png 2]: /images/20230528/5ec11a2eb5bf4a23995b80f14b0033ff.png
[format_png 3]: /images/20230528/de9f7bdd406f4753b6584cb82f4f581a.png
[format_png 4]: /images/20230528/a7ea528716644dcca97e74822f005755.png
[format_png 5]: /images/20230528/d32cfb7c77684687938f10d55deb00b3.png
[format_png 6]: /images/20230528/d5774b37aa7643d98e39302551519c72.png
[format_png 7]: /images/20230528/5728a0df0f4642b3b7e365d858e0aeb5.png
[format_png 8]: /images/20230528/4e8b9e525fd9411a93fb431200999f7d.png
[format_png 9]: /images/20230528/f53ca56c06104a7e8c0d8a0d21aaa43a.png
[http_t.cn_A6Zvjdun]: https://link.zhihu.com/?target=http%3A//t.cn/A6Zvjdun
[format_png 10]: /images/20230528/36a8fe68d88d456d8ce55f7b3aa83d22.png
[format_png 11]: /images/20230528/c9848ed747ac4f7eb49628c8750d4251.png
[format_png 12]: /images/20230528/b3ae4da5919c43489113c1fc3718453e.png
[format_png 13]: /images/20230528/71e35df108ba4e3cb7bb5d387fcda2c7.png