（一）SDT（Signal dependent transform）

- 日理万妓 2022-06-11 07:52 150阅读 0赞

译者注：  
本文译自提案JVET-D1001的2.4.3小节的内容。  
提案作者的文章：  
Exploiting Non-Local Correlation via Signal-Dependent Transform (SDT), IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING, VOL. 5, NO. 7, NOVEMBER 2011, Cuiling Lan, Jizheng Xu, Senior Member, IEEE, Guangming Shi, Senior Member, IEEE, and Feng Wu, Senior Member, IEEE

考虑到相邻帧之间有很多相似的块，信号依赖的变换（SDT）通过K-L变换（Karhunen-Loéve transform）挖掘这个相关性，以增强编码性能。这种训练出来的K-L变换起到更高效地压缩能量的作用。

![这里写图片描述][SouthEast]  
图 24: 挖掘非局部相关性的K-L变换的流程图

上面的流程图描述了这个想法。对于当前编码块*C*，首先，获取一个参考块，该参考块包含重建的左-上模板*tb*和编码块的预测块*p*。然后，这个参考块被用来搜索与参考块最相似的*N*个块。最后，基于这些块和预测块的一维的KLT被计算出来。当前编码块在解码端是未知的，所以不能用来搜集相似的候选块。预测块和重建模板被用来指引相似块的搜索，而非使用原来的块。此工具用于4x4、8x8、16x16和32x32大小的块。

总所周知，K-L变换是就能量压缩性能性能而言最优的变换。通过搜索*N*个与参考块最相似的重建块，得到***xi***，i=1，2，…，N。这里，***xi***=*(xi1, xi2, …, xiD)T*和D表示变换块的矢量维度。例如，对于4x4编码块，*D*为16。这些块减预测块***p***，再除以根号*N*，得到残差块***ui***，*i=1,2, …, N*。这些残差块被用作KLT的训练样本。这*N*个训练样本可以表示为***(u1, x2, …, xN)***，这个一个*DxN*的矩阵。协方差矩阵Σ：

Σ= ***UUT***

该协方差矩阵的维度为*DxD*，该协方差矩阵的特征向量就是KLT的基向量。对于自然图像视频的内容，我们发现选择候选数量*N*为100已经有足够好的性能了。

特征值分解的计算复杂度是*O(D3)*。对于4x4的块，*D*为16，计算复杂度为*O(163)*是可接受的。对于大块，复杂度将会非常高。对于32x32的块，*D*为1024，时间复杂度是4x4的块的262144倍，就变得难以接受了。

考虑到这点，利用一个快速算法来使得KLT可行。Σ的维数是*DxD*。然而，***UTU*** 的维度低得多：*NxN*。我们计算Σ’=***UTU***的特征向量***ϕ***，它满足以下方程：

***UTUϕ=ϕΛ***  
***ϕ***是特征向量矩阵， ***Λ***表示由特征值组成的对角矩阵。在上式两边同时左乘 ***U*** ，得到：  
***UUTUϕ=UϕΛ***  
往上面的方程增加括号，得到：  
***(UUT)(Uϕ)=(Uϕ)Λ***  
列向量 ***Uϕ***就是 ***UUT***的特征向量，对角矩阵 ***Λ***的元素即是相应的特征值。令 ***φ=Uϕ***。这暗示了高维协方差矩阵 ***UTU***这暗示了高维协方差矩阵 ***UTU***可以通过低维的协方差矩阵 ***UUT***的特征向量?乘以 ***U***得到， ***φ***和 ***Λ***的维度均为 *D×N*。 ***UTU*** 的所有其他的 *(D-N)*个特征向量的特征值均为0。我们可以施密特正交化来补充这 *(D-N)*个特征向量，以得到 *D×D*的特征向量矩阵。为了降低矩阵乘法的复杂度，可以用得到的 *N*个特征向量来执行KLT变换，让剩余的 *(D-N)*个变换系数为0。这不会降低性能，因为前 *N*个投影可以覆盖信号的大部分能量，基向量从编码块的高相关样品训练而来。  
在JEM中，上述的KLT在编码块的块层实现。为了能更好地适应图像视频的内容，所提方案支持4x4、8x8、16x16和32x32编码块大小的KLT。在JEM的编码端，通过使用率失真优化在SDT和AMT（advanced multiple transform）中选择最优的变换模式。

[SouthEast]: /images/20220611/786fb0ea821c4ad2b602f266f5aba24d.png