ffmpeg转码步骤源码实现的一点点浅析

骑猪看日落 2023-02-14 13:08 103阅读 0赞

# ffmpeg转码步骤源码实现的一点点浅析 #

ffmpeg转码过程对解码的处理封装在process\_input()中(process\_input()->decode\_video()->decode()->avcodec\_send\_packet())，转码过程中ffmpeg会通过avformat库一包一包的读取avpacket经过avcodec\_send\_packet()往内部解码器送原始音视频压缩包、这里也提一下，我们都知道  
avpacket 和 avframe 是ffmpeg的通用帧封装 ，  
avpacket是压缩帧，avframe是原始图像帧，  
在解码端，avpacket会送到解码器，产出avframe  
在编码端，avframe会送进编码器，产出avpacket  
在滤镜端，avframe 入，avframe 出  
![format_png][]

4.2.1ffmpeg内部做了并行解码，简图要如下：  
![format_png 1][]

avcodec->internal内部维系了一个环形线程列表，默认工作线程数量为nb\_cpu + 1 个，主线程通过avcodec\_send\_pkt()—>…->submit\_packet()通过条件变量提交一个任务给一个空闲的工作线程，空闲线程收到通知后调用对应的解码器回调函数code->decode()开始解码,同时此线程的状态机会切换到工作状态(假定为灰色格子)  
next\_decoded总是指向下一个空闲线程，  
next\_finnished总是指向第一个工作线程，这样解码器帧出来的顺序即帧送进解码器的顺序，  
next\_finnished指向的工作线程解码完成后，会存储在avcodec->internal->buffer\_frame中,avcodec\_receive\_frame()中会判断它是否有数据有则取走,没有则走一遍内部调用取帧，internal一般都是ffmpeg内部结构，不建议开发人员访问.  
![format_png 2][]

关于ffmpeg的多线程编解码分为 frame级和slice级 两类, 当然应该不是所有的编解码器都支持.  
我在测试过程中发现 ffmpeg n4.2.1的版本 解码 h264 默认是打开了帧级多线程解码的, 类 -threads 0 -thread\_type frame -i xxx.mp4

ffmpeg -y -threads 0 -thread_type frame -i xxx.mp4  -f null -an -

同时扫了一下x264编码部分，实现方式和解码形同，但测试过程中却发现-threads x -thread\_type frame 即x264帧级多线程编码并不支持， 而是转成了x264内部的多线程编码参数,可见是因编解码器而异.  
![format_png 3][]

另外ffmpeg transcode\_step 中，即便不加filter也会毕走了一个null filter,  
add\_buffersrc会将avframe添加进内部filter graph link链的一个fifo队列中、  
buffsersink\_get会从自己buffsink的link fifo里面取已经产出的frame，如果还没有，则会激活跑一遍filter graph的滤镜链图再来取.  
简化如下,未经调试,实际也许有区别.  
![format_png 4][]

static int get_frame_internal(AVFilterContext *ctx, AVFrame *frame, int flags, int samples)
    {
        
        BufferSinkContext *buf = ctx->priv;
        AVFilterLink *inlink = ctx->inputs[0];
        int status, ret;
        AVFrame *cur_frame;
        int64_t pts;
    
        if (buf->peeked_frame)
            return return_or_keep_frame(buf, frame, buf->peeked_frame, flags);
    
        while (1) {
        
            ret = samples ? ff_inlink_consume_samples(inlink, samples, samples, &cur_frame) :
                            ff_inlink_consume_frame(inlink, &cur_frame);
            if (ret < 0) {
        
                return ret;
            } else if (ret) {
        
                /* TODO return the frame instead of copying it */
                return return_or_keep_frame(buf, frame, cur_frame, flags);
            } else if (ff_inlink_acknowledge_status(inlink, &status, &pts)) {
        
                return status;
            } else if ((flags & AV_BUFFERSINK_FLAG_NO_REQUEST)) {
        
                return AVERROR(EAGAIN);
            } else if (inlink->frame_wanted_out) {
        
                ret = ff_filter_graph_run_once(ctx->graph);
                if (ret < 0)
                    return ret;
            } else {
        
                ff_inlink_request_frame(inlink);
            }
        }
    }

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTM4NDU1NS8yMDIwMDYvMTM4NDU1NS0yMDIwMDYwMjIyMzgwMjE0OS0xMDYxMjE5NzM4LnBuZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTM4NDU1NS8yMDIwMDYvMTM4NDU1NS0yMDIwMDYwMjIyMzgxMzM2OS05ODEwODU4MzQucG5n?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTM4NDU1NS8yMDIwMDYvMTM4NDU1NS0yMDIwMDYwMjIyMzgzNDgwMC0xMjczNDQxODI4LnBuZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTM4NDU1NS8yMDIwMDYvMTM4NDU1NS0yMDIwMDYwMjIyMzkwOTg1MC0yMTA0ODY3OTEzLnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTM4NDU1NS8yMDIwMDYvMTM4NDU1NS0yMDIwMDYwMjIyMzg1NTMyMi0xODExODkyNjc5LnBuZw?x-oss-process=image/format,png