利用gevent高并发飞速下载m3u8视频文件

Dear 丶 2022-09-03 14:27 225阅读 0赞

m3u8就不多介绍了，对一个m3u8链接发起请求，得到的结果大概就是下面这样，得到一串下载视频链接。m3u8视频文件有加密的，也有没加密的，下面这个就是加密的，图中右侧第6行显示通过AES加密，大多都采用这种加密方法，后面跟着的是密钥链接，可以获取密钥key。解密的另一个重要参数是iv值，也是从m3u8文件中获取，如果没有，比如下面的这张图，就没有iv字段，就用EXT-X-MEDIA-SEQUENCE的值作为iv值，也下图中其值为‘0’，使用大端字节序，如果长度不足，就往左填充 0 直到序列号满足128位，一般是全0。windows下对AES解密，需要安装pycryptodome、pycrypto两个模块。

如果安装了Anaconda，建议通过下面的方式安装
    conda install pycryptodome
    conda install pycrypto
    没安装的话，就把conda替换为pip

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70]  
因为请求的链接很多，费时的IO操作，因此采用协程来提高速度，我这里采用的是基于c实现的gevent高性能的并发网络库，真的就比python 的那个async好用太多！！async用起来总是别扭  
主要步骤：1、根据m3u8链接获取ts视频下载链接，构建下载列表；2、创建协程任务池，并发请求；3、合并下载的大量ts视频片段(少则几百个，多则几千个)；4、删除ts视频片段。  
下面提供的程序，加密的、没加密的都能处理，还可以去广告，有些视频会在视频中插入广告，广告部分一般不加密，因此会出现分割行，如下面所示，特征是加密方法为NONE，即METHOD=NONE，如第一个红箭头所指，下面的几个链接就是广告，广告之后就是正常的视频，这时候又开始加密了，如第二个箭头所指，此时的加密方法就变成了METHOD=AES-128，而且可以看到广告的请求链接不同，可以根据这两个特点将其剔除

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70 1]

from gevent import monkey; monkey.patch_all()
    from gevent.pool import Pool
    from Crypto.Cipher import AES
    import requests
    import os
    class m3u8_downloader(object):
        def __init__(self):
            self.headers = {
        
            'sec-ch-ua': '"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
            }
            self.key = None
            self.iv = b'0000000000000000'
            self.cipher = None
            self.failed_urls = []	#缓存访问失败链接，构建新的请求列表
            self.num = 0	#视频总数
            self.cur = 0	#当前已下载视频数
    
        def download(self, url):
            name, video_url = url.split('@')	#根据之前的人为标记，分隔出名字、链接
            try:
                requests.packages.urllib3.disable_warnings()
                content = requests.get(video_url, stream=True, headers=self.headers, verify=False).content
            except:
                self.failed_urls.append(url)
                return
    
            if self.key:
                try:
                    content = self.cipher.decrypt(content)	#AES解密
                except:
                    return
    
            with open(os.path.join(ts_path, name), 'wb') as f:
                f.write(content)
            self.cur += 1
            print('\r', '下载进度：%d/%d' % (self.cur, self.num), end='', flush=True)
    
        def get_download_list(self):	#构建下载链接列表
            response = requests.get(m3u8_url, headers=self.headers)
            response = response.text.split('\n')
            url_list = []
            count, flag = 1, 'NONE'
            # count用于重新计数并作为视频保存的名字，以便后面可以正确有序的合并视频
            # flag主要用来剔除广告，广告链接和正常视频链接有差异
            for each in response:
                if 'EXT-X-MEDIA-SEQUENCE' in each:
                    self.iv = each.split(':')[1]
                    self.iv = bytes('0' * (16 - len(self.iv)) + self.iv, encoding='utf-8')
                    print('iv值：', self.iv)
                if 'AES' in each and not self.key:
                    key_url = each.split('"')[1]
                    self.key = requests.get(key_url, headers=self.headers).text
                    self.cipher = AES.new(self.key.encode('utf-8'), AES.MODE_CBC, self.iv)
                    flag = key_url.split('key')[0]
                    print('AES Key链接：', key_url)
                    print('该视频文件被加密，AES加密密钥：', self.key)
    
                if flag in each and each[-2:] == 'ts':
                    url_list.append(str(count) + '.ts@' + each)
                    count += 1
    
            self.num = len(url_list)
            print('共获取视频文件数：', self.num)
            return url_list
    	
        def merge_video(self):	#合并视频
            video_list = os.listdir(ts_path)
            total = len(video_list)
            video_list = sorted(video_list, key=lambda x: int(x[:-3]))
            count = 0
            with open(os.path.join(save_path, video_name), 'wb+') as f:
                for video in video_list:
                    count += 1
                    print('\r', '合并进度：%d/%d' % (count, total), end='', flush=True)
                    f.write(open(os.path.join(ts_path, video), 'rb').read())
            print('\n视频合并完成!')
    
        def delete_ts(self):	#删除视频
            for each in os.listdir(ts_path):
                os.remove(os.path.join(ts_path, each))
            print('All Deleted!')
    
        def creat_pool(self, url_list):	#创建任务池
            for i in range(0, len(url_list), mcn):
                p = Pool(mcn)
                p.map(self.download, url_list[i:i+mcn])
    
        def main(self):
            url_list = self.get_download_list()
            while url_list:
                self.creat_pool(url_list)
                url_list, self.failed_urls = self.failed_urls, []
                if url_list:	#如果有下载失败的，循环请求
                    print('\n失败链接：', url_list)
                    time.sleep(1.5)
    
            print('\n所有视频文件下载完成!')
            print('开始合并视频......')
            self.merge_video()
            #self.delete_ts()
    
    if __name__ == '__main__':
        ts_path = 'D:\\python\\电影'	#保存ts视频流的路径
        save_path = 'D:\\python\\merged_video'	#保存合并后的视频路径
        video_name = '你是我的荣耀.ts'	#合并后的视频名字
        m3u8_url = 'https://v10.dious.cc/20210726/S5EqrJub/1000kb/hls/index.m3u8'
        mcn = 100   #最大并发数，可调整
        md = m3u8_downloader()
        md.main()

上面的分析基于这个视频网站：[旋风视频][Link 1]  
以电视剧“你是我的荣耀”某一集为例，ts视频流合并之前，如下图所示，有几百个视频片段

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70 2]  
通过合并就可以得到没有广告的完整一集了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70]: /images/20220829/94b7f7dd22894348b6cd9e7e8f84d83e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70 1]: /images/20220829/9c743476d7704629b9d064258ee9ed01.png
[Link 1]: https://miao101.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70 2]: /images/20220829/303a0db505254020a108d5ca4e4cdd82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70 3]: /images/20220829/cffdd22f98d44cb2b18ff7c916e94883.png