只要网速够快，小视频看完一个删一个，任性！Python爬取小视频

冷不防 2023-03-12 12:23 4阅读 0赞

![format_png][]

**前言**

yy平台，直播界的先驱，有很多主播会把一些自己的直播精彩看点上传到该平台下的小视频栏目中

今天带大家爬取yy小视频栏目中所有的小视频

**课程知识点：**

1、动态数据抓包演示

2、json数据解析方法

3、视频数据保存

**环境介绍：**

python 3.6

pycharm

requests

**爬虫的一般思路：**

1、分析目标网页,确定爬取的url路径，headers参数

2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

3、解析数据

4、保存数据

**导入工具**

import requests
    import re
    import pprint

**分析目标网页,确定爬取的url路径，headers参数**

url地址：

![format_png 1][]

参数

![format_png 2][]

url = 'https://api-tinyvideo-web.yy.com/home/tinyvideos?'
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36',
    }
    
    param = {
        'data': '{"uid":0,"page":1,"pageSize":10}',
    }

**发送请求 -- requests 模拟浏览器发送请求，获取响应数据**

![format_png 3][]

response = requests.get(url=url, headers=headers, params=param)
    data = response.json()
    # print(data)

**解析数据**

![format_png 4][]

# 提取字段
    data_list = data['data']['data']
    
    # 循环遍历
    for data1 in data_list:
        resdesc = data1['resdesc'] + '.mp4'  # 视频的题目
        resurl = data1['resurl']  # 视频的url地址
        # print(resdesc, resurl)
    
        # new_title = change_title(resdesc)
    
        video_data = requests.get(resurl, headers=headers).content

**保存数据**

![format_png 5][]

with open('video\\' + resdesc, mode='wb') as f:
            print('正在下载：', resdesc)
            f.write(video_data)

运行代码，效果如下：

![format_png 6][]

如果你处于想学Python或者正在学习Python，Python的教程不少了吧，但是是最新的吗？说不定你学了可能是两年前人家就学过的内容，在这小编分享一波2020最新的Python教程。获取方式，私信小编 “ 资料 ”，即可免费获取哦！

[format_png]: /images/20230312/5a50518bf670413e9ff9360b4252751f.png
[format_png 1]: /images/20230312/5d3bb716ba2a44769388b2d7579c2a43.png
[format_png 2]: /images/20230312/9f10e2962cbc4cea88584212a5ea8394.png
[format_png 3]: /images/20230312/bb08006c9cb346e1998c69aaf4c93d91.png
[format_png 4]: /images/20230312/55ab744b9cd84bc0826066f0c76ee314.png
[format_png 5]: /images/20230312/7de7d38d39024ebdbcb2a204e5e3e1ca.png
[format_png 6]: /images/20230312/65dc257a7ff845f7901fcd9964423829.png