[网络爬虫]西瓜视频案例

深藏阁楼爱情的钟 2024-04-24 20:33 109阅读 0赞

>  *  ?个人主页：[北·海][Link 1]
>  *  ?CSDN新晋作者
>  *  ?欢迎 ?点赞✍评论⭐收藏
>  *  ✨收录专栏：[网络爬虫][Link 1]
>  *  ?希望作者的文章能对你有所帮助，有不足的地方请在评论区留言指正，大家一起学习交流！?

*  爬虫
    
     *  作用 : 采集数据/模拟用户行为
     *  原理 : 模拟客户端向服务器发送请求
 *  爬虫案例思路
    
     *  找视频链接
     *  4k 附近有个main\_url视频链接
     *  需要通过base64解码该链接才能拿到视频原链接[Base64 在线编码解码 | Base64 加密解密 - Base64.us][Base64 _ _ Base64 _ - Base64.us]
     *  可以下载视频
 *  代码
    
     *  访问到 [网络爬虫][Link 2]拿到网页源代码
     *  从网页源代码当中拿取main\_url
     *  将main\_url还原为视频原链接
     *  访问视频链接
     *  拿到视频内容,保存

import base64
    import re
    import requests
    import os
    
    url = 'https://www.ixigua.com/7258418700380799499'
    headers = {
    'Referer':'https://www.ixigua.com/7258418700380799499?logTag=9b34beaa8f46169ebe1d',
    'Cookie':'csrf_session_id=ecbc72b90d1c07556dab509482c2a200; ttwid=1%7C0xK7j4AwMGXSJirx7G1R3_66c-ZQrfhNgJzHuIqjdl8%7C1691410475%7C9633dbc74390e7ac42571dc209477bb4c45a7497d0252ba3f4406837280dd887; support_webp=true; support_avif=true; ttcid=9654c3a3d9a747e8896253054ed8184a19; __ac_nonce=064d0e04000d662c18eca; __ac_signature=_02B4Z6wo00f01i7IYXwAAIDDpYP6nbBbDBYu6GXAAO9xCJqigVk3qMk6.p4Kso.ippTibA-IANko-5jNmOyiDhyUif8AV8DC9TA6XYHQqcbr-82WuJGyi46KJGnTZOXzRVh3ADEGUbDKRduNc3; ixigua-a-s=3; tt_scid=t-4js-XbFGn5P.5KYld6zLZerDaRtbjJcXVMAEkX50rLN9THg5-ef4cglQZoqfvC7b63; msToken=1-MkBR3LFxo1Y3a8cZmNEas2f0wCqbB1C8ETmI6267LpnWUkLAb51yic8gHg7nGF00xUUetbPERwbfuvqesJ0tpu2_55rgsBMTWWa05DxzMNTroxSAS_',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
    }
    response = requests.get(url=url,headers=headers)
    #防止中文乱码,与源代码中的charset保持一致
    response.encoding = 'utf-8'
    page_text = response.text
    #正则表达式
    ex = '"main_url":"(.*?)",'
    main_url = re.findall(ex,page_text)[2]
    #将main_url还原为视频链接 加decode是base64解码,将链接其他内容去掉
    videoUrl = base64.b64decode(main_url).decode()
    #访问视频链接
    #.text :取文本内容
    #.content:链接如果是视频/音频/图片
    #视频持久化存储
    video_data = requests.get(url=videoUrl,headers=headers).content
    with open('【岚西】 近距离 の凌晨 楼道 雪藏系列.mp4','wb') as fp:
        fp.write(video_data)
        print("视频保存成功")

[Link 1]: https://blog.csdn.net/weixin_73865721?spm=1010.2135.3001.5343
[Base64 _ _ Base64 _ - Base64.us]: https://base64.us/
[Link 2]: https://www.ixigua.com/7258418700380799499?logTag=9b34beaa8f46169ebe1d