AVS2参考帧管理

川长思鸟来 2023-07-17 12:49 71阅读 0赞

## 背景 ##

前阵子搞了个AVS2的项目，我作为视频解码工作人员，负责将linux内核驱动和应用层软件部分通路打通。完成开发后对AVS2的认识也涨了不少，特意在此介绍一下AVS2的参考帧管理。  
参考帧管理主要分为4部分：图像缓存区的建立与参考图像的移入移出，参考队列的构建，参考图像的标记，参考图像的输出。（与spec不一样，这是我自己的分类）

## 帧类型 ##

AVS2除了传统的I、P、B帧外，另外还新增了F帧、G帧、GB帧、S帧。F帧与P帧差不多，相当于P帧的双假设预测；G帧和GB帧还有S帧是针对视频监控和情景剧等特定应用而使用的，G和GB是场景帧，S帧是参考场景帧的帧。G帧和GB帧的生成原理决定了G帧可以被P或B或F帧参考，GB只能被S帧参考。S帧的参考帧只有一帧，要么G帧要么GB帧。

## 参考模式 ##

AVS2有三种参考模式：GOP=4有两种，GOP=8有一种。要注意的是，B帧也可以被参考，具体参考模式如下图：  
![参考模式][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE4NDk3NjUz_size_16_color_FFFFFF_t_70]  
这里的图是从官网截图来的，详情请看：[AVS2官网][AVS2]  
图中的参考关系不包含场景图像，我们讲一下GOP=8的这种参考模式：上图是按照显示顺序排列的，可以看到第5帧（B4）没有画参考箭头，我猜是画漏了，其实这帧是要参考第1帧（I0）和第9帧（P8，下一个GOP的第一帧）的。所以，每个B帧的参考帧的个数都是两个，且都是参考前后最近的两个帧。

## 显示顺序和解码顺序 ##

图像解码顺序用一个索引值表示，叫像解码顺序索引（DOI），图像显示顺序也用一个索引值表示，叫像显示顺序索引（POI）。两个重要变量：

*  图像输出延时（PictureOutputDelay，简写POD）。
 *  输出重排延时（OutputReorderDelay，简写ORD）。

为了传输节省bit，码流只传DOI，POI由COI、POD和ORD计算而来。实际上只要一个POD也可以计算：DOI加或者减POD即可，但是这样需要POD是有符整数。有同学就说了，POD是无符整数也可以啊！当然可以了，但是这样DOI+POD定然不是以0开始增加的，下图DOI+POD是以3开始增加的，为了使图像输出顺序也从0开始增加（节约bit），只要将所有图像DOI+POD的值减去一个数就可以做到，这个数就是ORD。这样就得出POI=DOI+POD-ORD，下图是一个实际片源的前0-8帧的DOI、POD、ORD、POI的值：  
![图像DOI][DOI]

## 图像的标记 ##

由于我们是解码过程，参考图像什么时候被显示我们并不知道，我们只需将其放入图像缓存区，并提供一种机制保证能被人按顺序取出去显示即可。  
这样对于显示过程，图像起码要有一个“未输出”标志，表示我已经解码完成，等待显示。另外这个参考图像即使被显示，但由于还要被后面的图像参考，数据不能丢失，所以起码还要一个“已输出”标志。  
对于参考过程，这个图像被其他图像参考，起码要有一个“被参考”标志。另外这个图像可能被后面的其他图像都参考完了，但这个图像可能还没显示，所以又还要一个“不被参考”标志。

## 图像缓存区移入图像 ##

AVS2将图像缓存区分为两部分：参考图像缓存区和场景图像缓存区，上面介绍的G和GB帧就会被放入场景图像缓存区中，这两个缓存区的图像都是参考图像队列构建的来源。  
先不讨论场景图像，图像移入缓存区要解决两个问题：

*  要被后面图像参考的图像需要缓存起来，由于一个GOP中根据参考关系解码顺序是严格控制的，所以可以等效为被参考的图像需要缓存起来，如DOI=0的图像，虽然要立刻显示，但是由于被参考，还是需要缓存起来。
 *  不被参考的图像如果在某参考图像后显示，也要缓存起来，因为你无法保证图像显示的速度，所以你只能缓存起来保证显示顺序。如上图，如果刚好已经显示到了DOI=3的这帧，那么解码到DOI=5的这帧时，是不用缓存的，可以立刻拿去显示，但如果此时正在显示DOI=4这帧，你必须将它缓存起来。

解决第一问题，使用变量RefByOthers可以搞定；解决第二个问题，POD可以搞定。  
操作如下：

*  如果 RefByOthers等于 1 或 POD大于 0，则将其移入参考图像缓冲区。因为RefByOthers不等于1并且POD等于0的情况，表示这个帧刚好是输出过程和解码过程同步的帧，需要立刻输出，如DOI=4的帧，在它之前解码的帧都需要在这帧之后输出，输出过程再快也需要等待这帧解码出来，而一旦解码到这个帧，显示过程就应该立刻输出。
 *  如果 RefByOthers等于 1，则将其标记为“被参考”图像。
 *  如果 POD大于 0，则将其标记为“未输出”图像。

现在我们考虑场景图像的情况：

*  如果是S帧，也要用上面的普通操作来判断，虽然不需要被参考，但也要考虑输出顺序是不是在某参考帧之后的问题。
 *  如果是GB帧，则直接移入场景图像缓存区。
 *  如果是G帧，则先移入场景图像缓存区，再进行上面普通的判断过程。

## 参考队列的构建 ##

其实很简单，给每帧图像附带一个数组，这个数组包含了所需要的参考图像索引值即可，并告附上这个数组的大小，即参考帧个数PicRefNum。如DOI=2的帧，它参考的图像是DOI=0和DOI=1这两帧，这样这个数组就可以是RefArray\[PicRefNum\]=\{0,1\}。但是这是绝对索引，很耗bit。于是我们就使用相对索引，0=2-2,1=2-1，进而RefArray\[PicRefNum\]= \{2,1\}。这个数组里的值我们叫DeltaDoiOfRefPic（DDORP）。  
这样我们在上图中加上图像的RefArray和PicRefNum：  
![RefArray][]  
上面说过每个B帧的参考帧都是它前后最近的帧，而且参考关系以GOP为单位，你会发现AVS2的这个设计又可以节省一部分bit，你只需要传送一个二维数组RCSArray\[RcsNum\]\[PicRefNum\]，这个数组包含了上面讲到的RefArray，这样你就可以根据这个RCSArray的一维索引值找到这个RefArray。下一个GOP的RefArray与前面的是一样的，所以我们只需要在一段序列的序列头传一个RCSArray数组，每个图像的图像头传一个RCSArray的一维索引RCSIndex即可，相当节省bit。这里的RCS也就是标准中的ReferenceConfigurationSet。  
这样我们就得到一个RCS表和修改后的0-8帧的相关数据。

*  RCS：![RCS][]  
    其中RemoveNum和RemoveArray用于移出图像缓存区，后面介绍。
 *  优化后0-8帧图像相关数据：![0-8帧数据][0-8]  
    fault表示该图像不需要RCS，-1表示他的RCS的数据不再RCS数组中，在图像头中获取。这提供了图像可以动态修改它的参考关系的机制。
 *  考虑场景图像的情况：  
    如果当前帧是S帧，其参考图像只有1帧，即场景图像缓存区的图像作为参考帧。  
    如果当前帧是P或F帧，且场景图像使能的情况下，则将参考图像队列 RefPicNum-1 位置的图像替换为场景图像缓冲区中的图像。

## 标记过程 ##

前面讲到参考图像移入图像缓存区时，已经有参考图像标记“被参考”和"未输出"的过程，这里要讲到的是图像不被参考时标记为“不被参考“的过程。  
和参考队列构建过程一样的推理，要标记为“不被参考”的图像相对索引被保存在RCS中，所以只需要根据RCSIndex找到对应的RemoveArray和RemoveNum，使用DOI-RemoveArra\[i\]即可得到要标记的图像索引,其中0<=i<RemoveNum。

## 图像输出过程 ##

在参考图像缓存区找到POI最小的“未输出“的图像，或者 POD=0（之前说个这个帧是同步帧，不需要缓存并立刻输出）的图像并输出，然后将其标记为”已输出”。

## 图像缓存区移出图像 ##

在参考图像缓存区找到“不被参考“且”已输出”图像，移出参考图像缓存区。  
如果当前帧是G或GB图像，则移出场景图像缓存区的图像。

## 总结 ##

AVS2的参考帧管理还是很巧妙的，和H265的参考帧管理差不多，比H264的滑动窗标记和MMCO标记过程简单很多，降低代码复杂度，也节省了bit，确实不错。  
但是！！！最近看了AV1的参考帧管理，那叫一个巧妙，预知后事如何，请听下回分解。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE4NDk3NjUz_size_16_color_FFFFFF_t_70]: /images/20230528/43a93f8343f04f70bfbdb4e24396d6a1.png
[AVS2]: http://www.avs.org.cn/avs2/technology.asp
[DOI]: /images/20230528/4255feef281f47109a22c1d339f5b071.png
[RefArray]: /images/20230528/f4a32dee005c4ca58aa817277cc8de34.png
[RCS]: /images/20230528/0f4e07f0fbef4f008804f06de13f57ad.png
[0-8]: /images/20230528/dc214be8309d44f4ab27c8d5a61b8a52.png