从FFmpeg 4. 2源码中提取dshow mjpeg code步骤

╰半橙微兮° 2023-07-05 14:45 15阅读 0赞

之前在[https://blog.csdn.net/fengbingchun/article/details/103735560][https_blog.csdn.net_fengbingchun_article_details_103735560] 中介绍过在Windows上通过vs2017编译FFmpeg源码进行单步调试的步骤，为了进一步熟悉FFmpeg这里以提取FFmpeg dshow mjpeg源码为例介绍其实现过程及注意事项：

FFmpeg是用C实现的，为了加速，个别模块也有对应的汇编实现。之前在[https://blog.csdn.net/fengbingchun/article/details/102641967][https_blog.csdn.net_fengbingchun_article_details_102641967]中介绍过从OpenCV中提取dshow mjpeg的步骤，但是OpenCV中只能拿到解码后的数据不能拿到解码前即编码的数据，而FFmpeg可以获取到编码数据。

这里仅提取与获取dshow mjpeg编码数据仅包括视频不包括音频相关的code，涉及到的对外C接口包括11个：avdevice\_register\_all、avformat\_alloc\_context、av\_find\_input\_format、av\_dict\_set、avformat\_open\_input、av\_malloc、av\_read\_frame、av\_packet\_unref、av\_freep、avformat\_close\_input、av\_dict\_free。主要代码实现在libavdevice模块，这里按照测试code的调用顺序依次说明：

1. avdevice\_register\_all：初始化avdevice模块，并注册所有输入输出设备。

因为我们只是获取dshow mjpeg的编码数据，不会用到AVOutputFormat相关内容，因此对于outdev\_list数组不需要提取ff\_opengl\_muxer和ff\_sdl2\_muxer的实现，仅需令outdev\_list\[\]=\{NULL\};即可。

对于indev\_list数组仅需要提取ff\_dshow\_demuxer的code，因此仅需令indev\_list\[\]=\{&ff\_dshow\_demuxer, NULL\};即可。ff\_dshow\_demuxer的实现在libavdevice模块的前缀为dshow的那些文件中，那些文件基本上都需要提取出来。

在av\_format\_init\_next函数中用到的数组变量muxer\_list和demuxer\_list全部赋值为NULL即可。好像函数av\_format\_init\_next什么都没做，也可直接去掉此函数。

2. avformat\_alloc\_context：分配AVFormatContext。对AVFormatContext执行malloc、memset(0)操作，以及一些默认设置。其中内部的回调函数io\_open和io\_close无需提取。并显式将编解码格式设置为mjpeg。

3. av\_find\_input\_format：根据输入格式的名字即”dshow”查找AVInputFormat。其实就是将ff\_dshow\_demuxer赋值给了外部的AVInputFormat指针对象。

4. av\_dict\_set：设置一个AVDictionary项。这里主要是设置video size。其实就是将key即“video\_size”和value即”1280x720”赋值给AVDictionary。

5. avformat\_open\_input：打开输入流并读取头信息。之前在上面第2步中对AVFormatContext作了memset全赋值为0操作，因此avformat\_open\_input函数中一些if判断始终会为false如pb，这些code可注释掉。这个函数里面最重要的是AVInputFormat中的回调函数read\_header，它会开启摄像头。

6. av\_malloc：为一个AVPacket分配内存块。以64位对齐方式调用系统\_aligned\_malloc函数。

7. av\_read\_frame：获取帧数据，每调用一次获取一帧mjpeg编码数据。这里的主要实现函数是read\_frame\_internal，调用完此函数后就会jump到return\_packet处，其它部分code不会走到如for内code，因此这部分code可全注释掉。read\_frame\_internal实现有些复杂，不过里面的一些if判断会始终为false，可以注释掉那些code。

8. av\_packet\_unref：释放数据缓冲区并将AVPacket字段重置为默认值。每正常调用一次av\_read\_frame函数就应该对应调用一次av\_packet\_unref函数。

9. av\_freep：释放申请的内存块，调用系统\_aligned\_free函数，如果AVPacket是有效的，在调用此函数前需要先调用av\_packet\_unref。

10. avformat\_close\_input：关闭打开的AVFormatContext并释放。

11. av\_dict\_free：释放为AVDictionary分配的内存，内部调用的是av\_freep函数。

注意事项：

1. C语言语法与C++的差异：

(1).C中从void\*到一个具体的结构体可以直接赋值，但C++需要使用static\_cast。

(2).C中从int到enum可以直接赋值，但C++需要使用static\_cast。

(3).C中对结构体赋值支持”.结构体成员变量名=value”，而且成员变量名的顺序可以任意，但C++需要完全按照变量名顺序依次直接给出各个变量名的value，不支持”.变量名=value”。

(4).C中会将class、this、new等当作普通变量名使用，但在C++中这些属于关键字，需要修改成其它名字。

(5).C中对union支持”.union成员变量名=value”，C++不支持，这里将union修改成了struct，如AVOption中的default\_val。

2. 在移植dshow.c文件到c++文件时，发现需要define宏COBJMACROS和CINTERFACE，定义完这两个宏后，include文件ObjIdl.h和Shlwapi.h时总会有各种问题，好像定义那两个宏后，这两个include文件不能同时在同一个.cpp文件中，临时解决方法是将dshow.c拆分成几个.cpp文件。

3. 移植code中，有些分支或函数感觉执行不到，临时使用一个宏ERROR\_POS占位，此宏定义如下，发现问题可快速定位：

#define ERROR_POS \
    	fprintf(stderr, "Error, It should not execute to this position: file: %s, func: %s, line: %d\n", __FILE__, __FUNCTION__, __LINE__); \
    	abort();

4. code中用到了一些系统接口，需要依赖两个系统库：strmiids.lib、shlwapi.lib。

5. 提取的全部code存放在：[https://github.com/fengbingchun/OpenCV\_Test/tree/master/src/fbc\_cv][https_github.com_fengbingchun_OpenCV_Test_tree_master_src_fbc_cv]

测试代码如下：将函数中的命名空间fbc去掉即可在原始ffmpeg中运行

#include <fstream>
    #include <iostream>
    #include "fbc_cv_funset.hpp"
    #include <videocapture.hpp>
    #include <opencv2/opencv.hpp>
    #include <avdevice.hpp>
    #include <avformat.hpp>
    #include <avutil.hpp>
    #include <avmem.hpp>
    
    int test_ffmpeg_dshow_mjpeg()
    {
    #ifdef _MSC_VER
    	fbc::avdevice_register_all();
    
    	fbc::AVFormatContext* format_context = fbc::avformat_alloc_context();
    	fbc::AVCodecID id = fbc::AV_CODEC_ID_MJPEG;
    	format_context->video_codec_id = id;
    
    	fbc::AVInputFormat* input_format = fbc::av_find_input_format("dshow");
    	if (!input_format) {
    		fprintf(stderr, "Error: input format is not supported\n");
    		return -1;
    	}
    
    	fbc::AVDictionary* dict = nullptr;
    	int ret = fbc::av_dict_set(&dict, "video_size", "1280x720", 0);
    	if (ret < 0) {
    		fprintf(stderr, "Error: fail to av_dict_set: %d\n", ret);
    		return -1;
    	}
    
    	ret = fbc::avformat_open_input(&format_context, "video=Integrated Webcam", input_format, &dict);
    	if (ret != 0) {
    		fprintf(stderr, "Error: fail to avformat_open_input: %d\n", ret);
    		return -1;
    	}
    
    	int video_stream_index = -1;
    	for (unsigned int i = 0; i < format_context->nb_streams; ++i) {
    		const fbc::AVStream* stream = format_context->streams[i];
    		if (stream->codecpar->codec_type == fbc::AVMEDIA_TYPE_VIDEO) {
    			video_stream_index = i;
    			fprintf(stdout, "type of the encoded data: %d, dimensions of the video frame in pixels: width: %d, height: %d, pixel format: %d\n",
    				stream->codecpar->codec_id, stream->codecpar->width, stream->codecpar->height, stream->codecpar->format);
    			//break;
    		}
    	}
    
    	if (video_stream_index == -1) {
    		fprintf(stderr, "Error: no video stream\n");
    		return -1;
    	}
    
    	fbc::AVCodecParameters* codecpar = format_context->streams[video_stream_index]->codecpar;
    	if (codecpar->codec_id != id) {
    		fprintf(stderr, "Error: this test code only support mjpeg encode: %d\n", codecpar->codec_id);
    		return -1;
    	}
    
    	fbc::AVPacket* packet = (fbc::AVPacket*)fbc::av_malloc(sizeof(fbc::AVPacket));
    	if (!packet) {
    		fprintf(stderr, "Error: fail to alloc\n");
    		return -1;
    	}
    
    	std::ofstream out("E:/GitCode/OpenCV_Test/test_images/test.mjpeg", std::ios::binary | std::ios::out);
    	if (!out.is_open()) {
    		fprintf(stderr, "Error, fail to open file\n");
    		return -1;
    	}
    
    	int count = 0;
    	while (count++ < 100) {
    		ret = fbc::av_read_frame(format_context, packet);
    		if (ret >= 0 && packet->stream_index == video_stream_index && packet->size > 0) {
    			fprintf(stdout, "packet size: %d\n", packet->size);
    			out.write((char*)packet->data, packet->size);
    		}
    		else if (ret < 0 || packet->size <= 0) {
    			fprintf(stderr, "Warnint: fail to av_read_frame: %d, packet size: %d\n", ret, packet->size);
    			continue;
    		}
    
    		fbc::av_packet_unref(packet);
    	}
    
    	fbc::av_freep(packet);
    	fbc::avformat_close_input(&format_context);
    	fbc::av_dict_free(&dict);
    
    	out.close();
    	fprintf(stdout, "test finish\n");
    	return 0;
    #else
    	fprintf(stderr, "Error: only support windows platform\n");
    	return -1;
    #endif
    }

生成的test.mjpeg文件可使用ffplay直接播放，执行结果如下：

![20200215194017665.png][]

**GitHub**：[https://github.com/fengbingchun/OpenCV\_Test][https_github.com_fengbingchun_OpenCV_Test]

[https_blog.csdn.net_fengbingchun_article_details_103735560]: https://blog.csdn.net/fengbingchun/article/details/103735560
[https_blog.csdn.net_fengbingchun_article_details_102641967]: https://blog.csdn.net/fengbingchun/article/details/102641967
[https_github.com_fengbingchun_OpenCV_Test_tree_master_src_fbc_cv]: https://github.com/fengbingchun/OpenCV_Test/tree/master/src/fbc_cv
[20200215194017665.png]: https://img-blog.csdnimg.cn/20200215194017665.png
[https_github.com_fengbingchun_OpenCV_Test]: https://github.com/fengbingchun/OpenCV_Test