摄像头RTSP流硬解码

约定不等于承诺〃 2024-02-22 07:03 16阅读 0赞

### 1. 问题分析 ###

项目中，之前用的是OpenCV对摄像头的RTSP流进行解码。随着时间的推移以及业务摄像头的增加，发现十路流CPU就已经100%啦，很明显解码所占CPU资源较多，导致整个系统处理效率不高，解码成为系统的瓶颈，需要赶紧马上上硬解码才行。

查找资料并验证发现：OpenCV中VideoReader\_GPU可以方便地利用GPU读取视频文件加速解码过程，但OpenCV中VideoReader\_GPU无法读取rtsp视频流数据。**CUVID中CuvideoSource不支持rtsp视频流数据，不能由rtsp地址创建****VideoSource**。

硬解码跟计算机显卡有关，赶紧安装cuda\_9.0.176\_win10 .exe，然后找相关GUP加速相关厂商提供的加速解决方案Demo（**C:\\ProgramData\\NVIDIA Corporation\\CUDA Samples\\v9.0\\3\_Imaging\\cudaDecodeD3D9**）

![9a01524693704a64b750344c2fe0dfce.png][]

cudaDecodeD3D9 Demo CUVID中CuvideoSource不支持rtsp视频流数据，不能由rtsp地址创建VideoSource ， 利用其他方式解析RTSP流

![48fa4b57649b4076883a8c07677dfbff.png][]

### 2.硬解码rtsp视频流 ###

基本思路：跳过VideoSource模块，利用其他方式（FFmpeg）解析，我结合。

基本步骤：

1.**利用FFmpeg解析rtsp视频流。（****结合以上Demo就能够把关键部分抽出来，自己封装成DLL工程，方便后面程序使用）**

2.创建VideoParser。

3.利用FFmpeg读取数据包(AVpacket)。

4.将数据包传输到VideoParser(AVpacket ---> CUVIDSOURCEDATAPACKET)。

5.VideoParser解码数据包。

6.转换解码后的数据(NV12 ---> RGBA)。

7.将RGBA数据显示出来。

![13b68518147e4e7b9f63fcb679cadbce.png][]

VideoSource 读取数据包(AVpacket)并转换成 CUVIDSOURCEDATAPACKET

![e8e9665d68f04877a7ac65c39ea0d2aa.png][]

VideoParse 用来解析得到一帧帧的数据。 VideoParser的回调函数：HandleVideoSequence() 创建解码器或重设解码器HandlePictureDecode() 解码每帧视频数据HandlePictureDisplay() 转换，处理，显示解码后的数据。

![ffd38f51ff254d6789f7c1a81bdadd5e.png][]

VideoDecoder 核心的硬件解码功能类，CUVIDDECODECREATEINFO oVideoDecodeCreateInfo\_是创建解码信息结构体，CUvideodecoder oDecoder\_是最内核的CUDA硬件解码器，VideoParser的解码功能实际上是在CUvideodecoder解码内核上封装实现的。

![df334667f6f545b181ab5e22994cf75e.png][]

GPU 转换解码后的数据(NV12 ---> RGBA)--加载转换函数

![585b4d163bfa4859a0ad53e002b9e861.png][]

### 3.测试 ###

CPU降下来了，GPU用起来了。

![b37010e3f2504bf6901f2495b0f0a5e0.png][]

测试发现对H265 H264 都可以成功解码

[9a01524693704a64b750344c2fe0dfce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/6cf2ba2d14dc4431837c2e7ca3b467ed.png
[48fa4b57649b4076883a8c07677dfbff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/788f6d5caf774a5aba6d9448f93a7e3a.png
[13b68518147e4e7b9f63fcb679cadbce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/665da54612404adb8e2285135f2c3419.png
[e8e9665d68f04877a7ac65c39ea0d2aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/843226e95d734c5d89e75427995207d2.png
[ffd38f51ff254d6789f7c1a81bdadd5e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/27d167561d8a4b9bba288f904ba22166.png
[df334667f6f545b181ab5e22994cf75e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/25559acb3df9448c9c036081fa7f8325.png
[585b4d163bfa4859a0ad53e002b9e861.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/139368937a8d4c29b67342666906c0d0.png
[b37010e3f2504bf6901f2495b0f0a5e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/bc18b548ff9b4795af80660677b5fc1d.png