ffmpeg + SDL2 实现的视频播放器「视音频同步」

小灰灰 2022-06-11 00:54 399阅读 0赞

## 前言 ##

*  这个程序使用的视音频同步方法是视频同步音频。接下来大概还会学习其他方法，不过下一步应该是先完善功能，实现暂停，播放之类的。
 *  这个版本中是用的是较新的两个解码函数avcodec\_send\_packet(), avcode\_receive\_frame()。如果旧版本没有，就换回avcodec\_decode\_video2()即可。

以下写着”问题:”的，如果懂请回答，谢谢。

## 程序结构图 ##

![这里写图片描述][20161008214718975]

*  主线程开一个线程专门负责读packet放到两个队列。
 *  然后主线程开音频设备。
 *  主线程开新线程给刷新函数(refresh\_func)
 *  然后主线程回去等待事件发生。

## 同步的思路 ##

视频同步音频的方法的实质是：如果视频慢了就延时短点，如果快了就延时长点。   
大体思路是：**获取音频时间，获取视频帧显示时间，比较两个时间判断快了还是慢了，在上一帧的延时上做相应增减。**

*  以音频为基准的话，如何获取音频的当前播放时间(cur\_audio\_clock)？
    
    > 1.  用av\_p2d()把时基(time\_base)转换成double类型，再乘以当前packet.pts即可得到当前packet的播放时间(audio\_clock)。
    > 2.  因为一个packet中可能有多帧数据，所以获取的audio\_clock大概只是前面帧的时间戳。   
    >     后面的通过计算获得： 
    >     
    >      *  a.计算每秒播放的字节(bytes)数x，
    >      *  b.获取当前缓冲区index。
    >      *  c. 用index/x即可得到额外时间。
    >      *  d. 用audio\_clock + index/x 即可算出当前播放时间。
    >      *  x的计算方法：样本率 \* 每个样本大小 \* 通道数。
    > 
    >  *  图示：
    >  *  ![这里写图片描述][20161009090857962]
 *  又如何获取视频的当前播放时间(cur\_frame\_pts)？
    
    > 1.  当前packet.pts \* time\_base + extra\_delay   
    >     当前帧的显示时间戳 \* 时基 +额外的延迟时间。   
    >     extra\_delay = repeat\_pict / (2\*fps) (从官网看来的)
 *  如何调整视频？
    
    > 1.  用当前帧pts减去上一帧的pts得到上一帧的延时。
    > 2.  对比上面获得的两个时间（视频当前时间、音频当前时间）判断是快了还是慢了。   
    >     **当 cur\_frame\_pts - cur\_audio\_clock > 0 说明快了，小于就慢了。   
    >     设置一个最大容忍值和一个最小容忍值。   
    >     以上一帧延时为基础，当慢太多就减小延时(delay), 当快太多就加大延时(delay)。**
 *  以上就是个人对视频同步音频方法的大体理解 , 如有不对请指出，感谢!

## 主要部分分析 ##

### 1. 获取音频的当前播放时间 ###

*  获取当前packet的时间

if (packet.pts != AV_NOPTS_VALUE)
         {
            ps->audio_clock = packet.pts * av_q2d(ps->paudio_stream->time_base);
         }

*  1
 *  2
 *  3
 *  4

> 1.av\_q2d()是Convert rational to double.   
> AVRational结构有两个成员：   
> 分子：int nun   
> 分母：int den

*  获取当前音频播放时间

double get_audio_clock(PlayerState *ps)
    {
        long long bytes_per_sec = 0;
        double cur_audio_clock = 0.0;
        double cur_buf_pos = ps->audio_buf_index;
    
        //每个样本占2bytes。16bit
        bytes_per_sec = ps->paudio_stream->codec->sample_rate
                    * ps->paudio_codec_ctx->channels * 2;
    
        cur_audio_clock = ps->audio_clock +
                        cur_buf_pos / (double)bytes_per_sec;
    
        return cur_audio_clock;
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15

> 1.  sample\_rate：采样率（例如44100）
> 2.  channels：通道数
> 3.  2代表2bytes。每个样本的大小(format指定)
> 4.  获取当前音频播放时间：audio\_clock + packet已经播放的时间.   
>     另一种获取当前时间的方法：   
>     audio\_clock+整个packet能播的时间 - 还没播的时间。 (我参考的代码就是这种方法。)

### 获取视频frame的显示时间 ###

*  概念:
    
     *  PTS：显示时间戳。
     *  DTS：解码时间戳。
     *  时基(time\_base): 相当于一个单位。（大概是类似与s(秒）之类的) 
        
         *  ffmpeg中每个阶段有不同是时基。
         *  代码中用到两个来调整时间，分别是:AVStream、AVCodecContext的time\_base（都是以秒为单位，转换的时候要注意，SDL\_Delay用的是毫秒， SDL\_AddTimer用的是毫秒， av\_gettime()用的是微秒）「1s = 1000ms = 1000000us」.
 *  获取packet.pts并调整

double get_frame_pts(PlayerState *ps, AVFrame *pframe)
    {
        double pts = 0.0;
        double frame_delay = 0.0;
    
        pts = av_frame_get_best_effort_timestamp(pframe);
        if (pts == AV_NOPTS_VALUE)      //???
        {
            pts = 0;
        }
    
        pts *= av_q2d(ps->pvideo_stream->time_base);
    
        if (pts != 0)
        {
            ps->video_clock = pts;  
        }
        else
        {
            pts = ps->video_clock;
        }
    
        //更新video_clock
        //这里用的是AVCodecContext的time_base
        //extra_delay = repeat_pict / (2*fps), 这个公式是在ffmpeg官网手册看的
        frame_delay = av_q2d(ps->pvideo_stream->codec->time_base);
        frame_delay += pframe->repeat_pict / (frame_delay * 2);
        ps->video_clock += frame_delay;
    
        return pts;
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31

> 1.  以中间的av\_q2d为界，av\_q2d以及以上代码为计算frame的pts。   
>     当获取不到的时候，就用av\_q2d以下的代码来设置。   
>     问题：什么时候下会获取不到呢？

### 同步调整 ###

*  同步就是快了就加延时（delay），慢了就减延时（delay）。
 *  下面代码中，两个函数都是自定义的。 
    
     *  get\_frame\_pts()：获取当前帧的显示时间戳。
     *  get\_delay()：获取延时时间。注意返回的是一个double类型，返回的时间是 s(秒)。给SDL\_Delay()用的时候要\*1000。
     *  (本来尝试在get\_delay()内部转换单位，返回一个整型，但是相对比较麻烦，容易出错。)

pts = get_frame_pts(ps, pframe);
         //ps中用cur_frame_pts是为了减少get_delay()的参数
         ps->cur_frame_pts = pts; //*(double *)pframe.opaque;
         ps->delay = get_delay(ps) * 1000 + 0.5;

*  1
 *  2
 *  3
 *  4

*  get\_delay()函数代码

double get_delay(PlayerState *ps)
    {
        double      ret_delay = 0.0;
        double      frame_delay = 0.0;
        double      cur_audio_clock = 0.0;
        double      compare = 0.0;
        double      threshold = 0.0;
    
        //这里的delay是秒为单位， 化为毫秒：*1000
        //获取两帧之间的延时
        frame_delay = ps->cur_frame_pts - ps->pre_frame_pts;
        if (frame_delay <= 0 || frame_delay >= 1.0)
        {
            frame_delay = ps->pre_cur_frame_delay;
        }
        //两帧之间的延时存到统筹结构
        ps->pre_cur_frame_delay = frame_delay;
        ps->pre_frame_pts = ps->cur_frame_pts;
    
        cur_audio_clock = get_audio_clock(ps);
    
        //compare < 0 说明慢了， > 0说明快了
        compare = ps->cur_frame_pts - cur_audio_clock;
    
        //设置阀值, 是一个正数，最小阀值取它的负数。
        //这里设阀值为两帧之间的延迟，
        threshold = frame_delay;
        //SYNC_THRESHOLD ? frame_delay : SYNC_THRESHOLD;
    
    
        if (compare <= -threshold)      //慢， 加快速度， 
        {
            ret_delay = frame_delay / 2;  //这里用移位更好快
        }
        else if (compare >= threshold)  //快了，就在上一帧延时的基础上加长延时
        {
            ret_delay = frame_delay * 2; //这里用移位更好快
        }
        else
        {
            ret_delay = frame_delay;
        }
    
        return ret_delay;
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31
 *  32
 *  33
 *  34
 *  35
 *  36
 *  37
 *  38
 *  39
 *  40
 *  41
 *  42
 *  43
 *  44
 *  45

## 所遇到的问题 ##

### 1. ffmpeg共享内存导致的错误 ###

> 1.  本来的实现是用一个新线程负责解码(packet->frame)， 解码后把frame放入队列，像把packet放入队列那样。   
>     这里会有一个画面闪烁或者严重丢帧的问题。   
>     原因就是每次新建的frame入队的时候，会共享内存， 这一个frame覆盖前一个frame。 
>     
>      *  解决办法有：   
>         a. 把队列长度设为1。每次只解码一帧到队列，取了以后再解。   
>         b. 最容易想到的肯定是找不共享内存的方法了.
>      *  尝试过不共享内存的方法有：   
>         av\_frame\_clone(),   
>         av\_frame\_alloc()以后av\_frame\_ref()「这个看了手册，但不理解，只是用了」   
>         av\_malloc()后用memcpy()   
>         av\_frame\_alloc后用memcpy().   
>         都失败了。然后用a的方法实现了同步后，重写这部分代码，把frame队列删了。

## 参考资料 ##

*  博文：[http://www.cnblogs.com/wangguchangqing/p/5900426.html][http_www.cnblogs.com_wangguchangqing_p_5900426.html]
 *  ffmepg在线手册：[http://ffmpeg.org/doxygen/2.1/frame\_8h.html\#acb9d9082c10e625e51a68caceabd4458][http_ffmpeg.org_doxygen_2.1_frame_8h.html_acb9d9082c10e625e51a68caceabd4458]
 *  SDL在线手册：[http://wiki.libsdl.org/SDL\_OpenAudioDevice][http_wiki.libsdl.org_SDL_OpenAudioDevice]

## 代码下载 ##

[Linux][]版：[http://download.csdn.net/detail/i\_scream\_/9648046][http_download.csdn.net_detail_i_scream_9648046]   
Windows版：[http://download.csdn.net/detail/i\_scream\_/9648373][http_download.csdn.net_detail_i_scream_9648373]   
(window版用的ffmpeg比较老，使用的是老的解码函数avcodec\_decode\_audio4(), avcodec\_decode\_video2())   
题外话：

*  接触ffmpeg已经8天了，搭环境用了两天，因为不知道怎么才算对，搭好了编译下载的程序不过，又再搭如此反复。最后还是看雷神的视频才懂，真的感谢他。
 *  学习这几个程序，一次次重写，学习到了统筹结构很重要，也很好用。
 *  还学习到，当出现错误的时候， 
    
     *  如果是有不懂的函数，结构，要去查询，理解再继续。
     *  如果函数之类都没问题，是逻辑之类问题，就认真看程序，去想，思考。
     *  而不要盲目地一个个去试错

http://blog.csdn.net/i\_scream\_/article/details/52760033

[20161008214718975]: /images/20220611/7b7dc8af66f54e869446c387a504a1d3.png
[20161009090857962]: /images/20220611/6d0ec6882ab949249e65218a11cf20e2.png
[http_www.cnblogs.com_wangguchangqing_p_5900426.html]: http://www.cnblogs.com/wangguchangqing/p/5900426.html
[http_ffmpeg.org_doxygen_2.1_frame_8h.html_acb9d9082c10e625e51a68caceabd4458]: http://ffmpeg.org/doxygen/2.1/frame_8h.html#acb9d9082c10e625e51a68caceabd4458
[http_wiki.libsdl.org_SDL_OpenAudioDevice]: http://wiki.libsdl.org/SDL_OpenAudioDevice
[Linux]: http://lib.csdn.net/base/linux
[http_download.csdn.net_detail_i_scream_9648046]: http://download.csdn.net/detail/i_scream_/9648046
[http_download.csdn.net_detail_i_scream_9648373]: http://download.csdn.net/detail/i_scream_/9648373