《Structure-Guided Ranking Loss for Single Image Depth Prediction》论文笔记

r囧r小猫 2022-10-05 04:54 115阅读 0赞

参考代码：[Structure-Guided-Ranking-Loss][]

# 1. 概述 #

> 导读：在这篇文章中提出了一种在监督深度估计方法中的损失函数。该方法是属于pair-wise ranking loss族的，文章通过利用目标的分割结果提出了一些新的采样策略，也就是**低层次的边缘采样与目标实例级别的采样**。从而极大增强了损失函数的约束能力，提升了最后深度图预测在边缘部分的锐化成都，以及目标内部的一致性内在属性。

文章将之前一些方法的损失函数进行比较，其结果在边缘与目标内部均得到了不错的提升，见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
理解下面的内容，需要的背景知识：

1.  论文：[Single- image depth perception in the wild][]
2.  读书笔记：[Single-Image Depth Perception in the Wild笔记][Single-Image Depth Perception in the Wild]
3.  论文：[Monocular relative depth per- ception with web stereo data supervision][]

# 2. 方法设计 #

## 2.1 original pair-wise ranking loss ##

文章中使用到的深度表达为inverse depth，RGB的图像经过网络之后得到估计出来的深度:  
 P = F ( I ) P=F(I) P=F(I)  
在之前的论文中对于pair-wise的损失函数描述为：  
 ϕ ( p 0 − p 1 ) = \{ l o g ( 1 + e x p ( − l ( p 0 − p 1 ) ) ) , l ≠ 0 ( p 0 − p 1 ) 2 , l = 0 \\phi(p\_0-p\_1) = \\begin\{cases\} log(1+exp(-l(p\_0-p\_1))), & \\text\{$l\\neq0$\} \\\\\[2ex\] (p\_0-p\_1)^2, & \\text\{$l=0$\} \\end\{cases\} ϕ(p0−p1)=⎩⎨⎧log(1\+exp(−l(p0−p1))),(p0−p1)2,l=0l=0  
其中采样过程中正负样本的判别条件为：  
 l = \{ + 1 p 0 ∗ / p 1 ∗ ≥ 1 + τ − 1 , p 0 ∗ / p 1 ∗ ≤ 1 1 + τ 0 , otherwise l= \\begin\{cases\} +1 & \\text\{$p\_0^\{\*\}/p\_1^\{\*\}\\ge1+\\tau$\} \\\\\[2ex\] -1, & \\text\{$p\_0^\{\*\}/p\_1^\{\*\}\\le\\frac\{1\}\{1+\\tau\}$\} \\\\\[3ex\] 0, & \\text\{otherwise\} \\end\{cases\} l=⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧\+1−1,0,p0∗/p1∗≥1\+τp0∗/p1∗≤1\+τ1otherwise  
其中， τ = 0.03 \\tau=0.03 τ=0.03。那么对于采样之后的集合 P = \{ \[ p i , 0 , p i , 1 \] , i = 0 , …   . N \} \\mathcal\{P\}=\\\{\[p\_\{i,0\},p\_\{i,1\}\],i=0,\\dots.N\\\} P=\{ \[pi,0,pi,1\],i=0,….N\}，则损失函数描述为：  
 L r a n k ( P ) = 1 N ∑ i ϕ ( p i , 0 − p i , 1 ) L\_\{rank\}(\\mathcal\{P\})=\\frac\{1\}\{N\}\\sum\_i\\phi(p\_\{i,0\}-p\_\{i,1\}) Lrank(P)=N1i∑ϕ(pi,0−pi,1)  
在上面的损失函数中采样的过程是通过随机采样的形式实现的，进而导致结果中的深度看起来比较**模糊且缺少细节信息**，这也说明其采样是存在一些问题的。在这篇文章中对这个损失函数进行了改进，在输入图像分割的基础上提出了**低层次边缘引导的采样以及instance 分割结果上的instance采样**。

## 2.2 采样策略 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
**边缘采样策略：**  
直接随机的采样会导致模糊与细节的丢失，那么一个直观的改进就是在图像（目标的mask掩膜）的边界两边进行采样，这样却会带来over-sharpening的问题，见图2的a图所示。对此文章的解决办法是在边缘的正交方向上进行采样4个点，也就是图2的b图中的 ( a , b , c , d ) (a,b,c,d) (a,b,c,d)点，从而得到采样pair为 \[ ( a , b ) , ( b , c ) , ( c , d ) \] \[(a,b),(b,c),(c,d)\] \[(a,b),(b,c),(c,d)\]。

对于一张给定的mask图，通过Sobel算子计算其在 ( X , Y ) (X,Y) (X,Y)方向上的梯度图 ( G x , G y ) (G\_x,G\_y) (Gx,Gy)，以及整个梯度图 G G G。那么需要采样的图像边界被描述为：  
 E = I \[ G ≥ α ⋅ m a x ( G ) \] E=\\mathcal\{I\}\[G\\ge\\alpha\\cdot max(G)\] E=I\[G≥α⋅max(G)\]  
其中， α = 0.1 \\alpha=0.1 α=0.1。那么对于边缘 E E E上的一个点 e = ( x , y ) e=(x,y) e=(x,y)，其正交方向上采样的4个点 k ∈ ( a , b , c , d ) k\\in (a,b,c,d) k∈(a,b,c,d)被描述为：  
 \{ x k = x + ∂ k G x ( e ) / G ( e ) y k = y + ∂ k G y ( e ) / G ( e ) \\begin\{cases\} x\_k=x+\\partial\_kG\_x(e)/G(e) & \\text\{\} \\\\\[2ex\] y\_k=y+\\partial\_kG\_y(e)/G(e) & \\text\{\} \\end\{cases\} ⎩⎨⎧xk=x\+∂kGx(e)/G(e)yk=y\+∂kGy(e)/G(e)  
其中， ∂ a < ∂ b < 0 < ∂ c < ∂ d \\partial\_a\\lt\\partial\_b\\lt0\\lt\\partial\_c\\lt\\partial\_d ∂a<∂b<0<∂c<∂d，这里最大延伸的距离 β = 30 \\beta=30 β=30。具体的算法流程描述为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]  
**instance采样策略：**  
在得到目标的mask之后，在instance的外部采样得到采样点 ( a , b ) (a,b) (a,b)，内部得到采样点 ( c , d ) (c,d) (c,d)。则按照文章的策略，得到3组采样点 \[ ( a , b ) , ( b , c ) , ( c , d ) \] \[(a,b),(b,c),(c,d)\] \[(a,b),(b,c),(c,d)\]，可以参考图2的c图。

**采样数量的确定：**  
为了采样的完备性，文章除了edge-level sampling/instance sampling之外，还引入random sampling用以扩充采样空间。这里图像边界上的点数量为 N N N，与instance面积成比例的采样数量为 M M M，从而具体的采样数量被定义为：

*  1）edge-level sampling：采样点数量为 3 N 3N 3N；
 *  2）random sampling：采样点数量为 N N N；
 *  3）instance sampling：采样点数量为 3 M 3M 3M；

## 2.3 损失函数 ##

梯度方面的损失：  
 L g r a d = 1 M ∑ s ∑ i ∣ Δ x R i s ∣ + ∣ Δ y R i s ∣ ) L\_\{grad\}=\\frac\{1\}\{M\}\\sum\_s\\sum\_i|\\Delta\_xR\_i^s|+|\\Delta\_yR\_i^s|) Lgrad=M1s∑i∑∣ΔxRis∣\+∣ΔyRis∣)  
其中， R i = p i − p i ∗ R\_i=p\_i-p\_i^\{\*\} Ri=pi−pi∗。再结合文章提出的损失函数，则整体的损失函数被描述为：  
 L = L r a n k + λ L g r a d L=L\_\{rank\}+\\lambda L\_\{grad\} L=Lrank\+λLgrad  
其中， λ = 0.2 \\lambda=0.2 λ=0.2。

# 3. 实验结果 #

性能比较：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]

[Structure-Guided-Ranking-Loss]: https://github.com/KexianHust/Structure-Guided-Ranking-Loss
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20221005/bb8a3e4dccd349a3b9ef5adc96101ef4.png
[Single- image depth perception in the wild]: http://www-personal.umich.edu/~wfchen/depth-in-the-wild/
[Single-Image Depth Perception in the Wild]: https://zhuanlan.zhihu.com/p/31766309
[Monocular relative depth per- ception with web stereo data supervision]: https://openaccess.thecvf.com/content_cvpr_2018/CameraReady/0944.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20221005/8b9f20a41724478ea94d698ba639ccc3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20221005/c31cd07bde1f4c3bba70a115f4692108.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20221005/db993b43967e4f8aa2937d0d488b896a.png