pyhton爬取爱奇艺弹幕——新手速来

╰半夏微凉° 2022-12-27 04:42 141阅读 0赞

# 爬取爱奇艺弹幕 #

原理跟爬取哔哩哔哩差不多

**1. 找到视频的特定编号 tvid**  
这里我找的是最近各大卫视热播的 ==[大秦赋 第15集][_15]==的视频ID

tvid = 7658778702074100

**2. 如何找到弹幕对应处：**  
F12，搜索栏输入bullet（英文：子弹，弹头）为啥输入这个，因为我找不到danmu，然后一个个的去点击总结出来的。  
![tvid][]  
![弹幕链接][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzYwOTEy_size_16_color_FFFFFF_t_70_pic_center]

**3. 然后观察弹幕链接的规律**

https://cmts.iqiyi.com/bullet/41/00/7658778702074100_300_1.z...
    https://cmts.iqiyi.com/bullet/41/00/7658778702074100_300_2.z...
    https://cmts.iqiyi.com/bullet/41/00/7658778702074100_300_3.z..
    https://cmts.iqiyi.com/bullet/41/00/7658778702074100_300_4.z..
    https://cmts.iqiyi.com/bullet/==41==/==00==/765877870207==4100==_300_5.z..

最终链接url：

f'https://cmts.iqiyi.com/bullet/41/00/7658778702074100_300_{page}.z'

`https://cmts.iqiyi.com/bullet/{ str(tvid)[-4:-2]}/{ str(tvid)[-2:]}/{ str(tvid)}_300_{ page_num}.z`

**4. 当你把这个链接(不带参数)在浏览器打开，你会下载得到一个压缩文件**但是这个文件不爱我们，打不开或者已损坏。但是你会发现它是有字节存在的，这表明这里面是有数据的。  
这里需要用zlib模块，遇事不决先百度！[点击这里][Link 1]  
zlib模块我也不懂，但是对于弹幕的爬取只要掌握方法、模板就OK了，现在爬虫的目的终究是为了数据分析。

*demo.py：基本可以通用！*

# 导入包
    import requests
    import pandas as pd
    import zlib
    import re
    import time
    
    def get_aiqiyi_danmu(tvid):
        """ 功能：给定tvid，获取爱奇艺一集的弹幕评论信息 """
        # 建立空df
        df_all = pd.DataFrame()
    
        # 初始page_num
        page_num = 1
    
        while True:
            # 打印进度
            print(f'正在获取第{page_num}页的弹幕数据')
    
            try:
                # 获取URL
                url = f'https://cmts.iqiyi.com/bullet/{str(tvid)[-4:-2]}/{str(tvid)[-2:]}/{str(tvid)}_300_{page_num}.z'
    
                # 添加headers
                headers = { 
                    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'
                }
    
                # 发起请求
                try:
                    r = requests.get(url, headers=headers, timeout=3)
                except Exception as e:
                    print(e)
                    r = requests.get(url, headers=headers, timeout=3)
    
                # 转换为arrry
                zarray = bytearray(r.content)
    
                # 解压字符串
                xml = zlib.decompress(zarray, 15+32).decode('utf-8')
    
                # 用户名
                name = re.findall('<name>(.*?)</name>', xml)
                # 评论ID
                contentId = re.findall('<contentId>(.*?)</contentId>', xml)
                # 评论信息
                content = re.findall('<content>(.*?)</content>', xml)
                # 展示时间
                showTime = re.findall('<showTime>(.*?)</showTime>', xml)
                # 点赞次数
                likeCount = re.findall('<likeCount>(.*?)</likeCount>', xml)
    
                # 保存数据
                df_one = pd.DataFrame({ 
                    'name': name,
                    'contentId': contentId,
                    'content': content,
                    'showTime': showTime,
                    'likeCount': likeCount
                })
    
                # 循环追加
                df_all = df_all.append(df_one, ignore_index=True)
    
                # 休眠一秒
                time.sleep(1)
    
                # 页数+1
                page_num += 1
    
            except Exception as e:
                print(e)
                break
    
        return df_all
    
    
    # 抓包获取视频tvid
    tvid_list = [9000000005439200, 9000000005442600, 9000000005447000, 9000000005448200, 9000000005450200,
                 9000000005451900, 16954202800, 16954268600, 16954335100, 16954390400,
                 16954467500, 16954519300]
    
    episodes_list = ['第一集 ', '第二集', '第三集', '第四集', '第五集',
                     '第六集', '第七集', '第八集', '第九集', '第十集',
                     '第十一集', '第十二集'
                     ]
    
    # 循环获取所有集数据
    for tvid, episodes in zip(tvid_list, episodes_list):
        print(tvid, episodes)
        # 获取数据
        df = get_aiqiyi_danmu(tvid=tvid)
        # 插入列
        df.insert(0, 'episodes', episodes)
        # 导出数据
        df.to_csv(f'./data/df_{episodes}.csv')

输出完会报错：Error -3 while decompressing data: incorrect header check，但不影响程序结果。

代码非我写，但却我总结。觉得有用就给个赞，男的点赞必脱单，女的…应该都有男朋友了吧!  
本人单身！！！

福利链接：\*\*爬虫+数据分析+可视化  
百度网盘链接：[https://pan.baidu.com/s/1u4Ed2Hur49kdcoqlXrh2Jw][https_pan.baidu.com_s_1u4Ed2Hur49kdcoqlXrh2Jw]  
提取码：love

特别声明：代码并非原创，但文章是原创就完事了。

[_15]: https://www.iqiyi.com/v_23j7w33nee0.html?vfrm=pcw_home&vfrmblk=B&vfrmrst=fcs_0_p12#curid=7658778702074100_bd68d91a2f1890fba17f16484af3e5fc
[tvid]: /images/20221120/ad225da0079346d68fe4d0d57a2525e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzYwOTEy_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/2020120722101240.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzYwOTEy,size_16,color_FFFFFF,t_70#pic_center
[Link 1]: https://blog.csdn.net/chuangwopu3176/article/details/100954159?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160734932219721942254101%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=160734932219721942254101&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-6-100954159.nonecase&utm_term=zlib%E6%A8%A1%E5%9D%97&spm=1018.2118.3001.4449
[https_pan.baidu.com_s_1u4Ed2Hur49kdcoqlXrh2Jw]: https://pan.baidu.com/s/1u4Ed2Hur49kdcoqlXrh2Jw