《PackNet：3D Packing for Self-Supervised Monocular Depth Estimation》论文笔记

忘是亡心i 2022-10-15 00:45 18阅读 0赞

参考代码：[packnet-sfm][]

# 1. 概述 #

> 导读：这篇文章提出了一种自监督的深度估计方法，其使用视频序列与运动信息作为输入，用网络去估计深度信息/相机位姿，并用最小重构误差去约束整个训练的过程从而实现自监督。文章的创新点主要体现为：使用3D卷机作为深度编解码网络，在相机位姿的6d信息基础上对平移分量进行约束，提出了一个新的数据集DDAD（Dense Depth for Automated Driving）。

单目情况下的自监督深度估计问题一般是使用几个相邻的视频帧去相互映射，其中完成映射所需要的参数是通过网络估计出来的。在这篇文章之前monodepth是一个较为成功的案例，文章的方法在很多环节的设计上与之类似，整体下来文章的主要工作可以归纳为：

*  1）提出了一种新的编解码网络去预测深度信息，其中使用3D卷积替换了传统使用的pooling和线性upsample操作，从而使得图片中的目标细节能够更好的保留下来；
 *  2）在monodepth中直接使用pose-net去估计相机的位姿但是这个相机位姿是没有一个准确的scale去约束的，好在可以使用加速度传感器等得到瞬时速度信息，从而可以与估计出来的相机位姿中的平移分量进行约束；
 *  3）文章针对自动驾驶的场景提出了新的DDAD数据集；

文章方法的效果见下图例子所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
可以看到上图的深度估计结果要比monodepth的结果边缘上更加锐利一些。

# 2. 方法设计 #

## 2.1 文章pipline ##

文章的整体pipeline结构见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
可以看到该pipeline与monodepth的类似，一个深度估计网络用于估计目标图像逐像素点的深度信息，一个姿态估计网络去估计相机旋转和平移的几个分量，之后通过几个关系建立起自监督关系，从而实现训练与收敛。与monodepth不同的一点是其对相机的位姿平移分量进行了约束，从而使得网络有了较为准确的scale信息，从而避免了monodepth中存在的scale不清晰的问题。

## 2.2 深度自监督部分 ##

深度的自监督与monodepth中使用的方法类似，其损失函数为：  
 L ( I t , I t ^ ) = L p ( I t , I s ) ⊙ M p ⊙ M t + λ 1 L s ( D t ^ ) L(I\_t,\\hat\{I\_t\})=L\_p(I\_t,I\_s)\\odot M\_p\\odot M\_t+\\lambda\_1L\_s(\\hat\{D\_t\}) L(It,It^)=Lp(It,Is)⊙Mp⊙Mt\+λ1Ls(Dt^)  
其中， M t M\_t Mt代表的是那些未被匹配到的像素掩膜。其中对于重建误差的描述形式为：  
 L p ( I t , I t ^ ) = α 1 − S S I M ( I t , I t ^ ) 2 + ( 1 − α ) ∣ ∣ I t − I t ^ ∣ ∣ L\_p(I\_t,\\hat\{I\_t\})=\\alpha\\frac\{1-SSIM(I\_t,\\hat\{I\_t\})\}\{2\}+(1-\\alpha)||I\_t-\\hat\{I\_t\}|| Lp(It,It^)=α21−SSIM(It,It^)\+(1−α)∣∣It−It^∣∣  
之后，在源图像和目标图像之间通过取最小误差作为后的损失：  
 L p ( I t , I S ) = min ⁡ I S L p ( I t , I t ^ ) L\_p(I\_t,I\_S)=\\min\_\{I\_S\}L\_p(I\_t,\\hat\{I\_t\}) Lp(It,IS)=ISminLp(It,It^)  
此外为了增加训练的稳定性与对视频中目标移动的适应，增加了一个automask掩膜机制，其取值描述为：  
 M p = min ⁡ I S L p ( I t , I S ) > min ⁡ I S L p ( I t , I t ^ ) M\_p=\\min\_\{I\_S\}L\_p(I\_t,I\_S)\\gt\\min\_\{I\_S\}L\_p(I\_t,\\hat\{I\_t\}) Mp=ISminLp(It,IS)>ISminLp(It,It^)  
上述损失中的最后一项是边界平滑损失，描述为：  
 L s ( D t ^ ) = ∣ ∂ x D t ^ ∣ e − ∣ ∂ x I t ∣ + ∣ ∂ y D t ^ ∣ e − ｜ ∂ y I t ｜ L\_s(\\hat\{D\_t\})=|\\partial\_x\\hat\{D\_t\}|e^\{-|\\partial\_xI\_t|\}+|\\partial\_y\\hat\{D\_t\}|e^\{-｜\\partial\_yI\_t｜\} Ls(Dt^)=∣∂xDt^∣e−∣∂xIt∣\+∣∂yDt^∣e−｜∂yIt｜

## 2.3 引入scale属性 ##

在monodepth中（也就是上节内容）是对相机位姿没有一个准确的scale去做约束的，这就导致了最后估计出来的深度并补准确，对此文章使用加速度计对估计出来的相机位姿中的平移分量进行约束，从而使其引入了scale的属性，从而使得估计出来的深度信息更加准确。这里使用到了**帧间的时间差 Δ T t → s \\Delta T\_\{t\\rightarrow s\} ΔTt→s，加速度计得到的瞬时速度 v v v，网络估计出来的平移参数 t ^ t → s \\hat\{t\}\_\{t\\rightarrow s\} t^t→s**，则文章中将scale属性的损失定义为：  
 L v ( t ^ t → s , v ) = ∣ ∣ ∣ t ^ t → s ∣ ∣ − ∣ ∣ v Δ T t → s ∣ L\_v(\\hat\{t\}\_\{t\\rightarrow s\},v)=|||\\hat\{t\}\_\{t\\rightarrow s\}||-||v\\Delta T\_\{t\\rightarrow s\}| Lv(t^t→s,v)=∣∣∣t^t→s∣∣−∣∣vΔTt→s∣  
因而加上引入scale属性，整个网络的损失函数被描述为：  
 L s c a l e ( I t , I t ^ , v ) = L ( I t , I t ^ ) + λ 2 L v ( t ^ t → s , v ) L\_\{scale\}(I\_t,\\hat\{I\_t\},v)=L(I\_t,\\hat\{I\_t\})+\\lambda\_2L\_v(\\hat\{t\}\_\{t\\rightarrow s\},v) Lscale(It,It^,v)=L(It,It^)\+λ2Lv(t^t→s,v)

## 2.4 基于3D卷积的编解码网络 ##

**上下采样模块：**  
文章抛弃了使用pool操作和线性upsample操作用作下和上采样，充分使用3D卷积的内在属性，从而有效规避了这些操作，从而使得网络在细节上具有更好的变现能力。其使用3D卷积进行上下采样的基础模块见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]  
**对于细节的保留特性：**  
使用文章方法由于去除掉了pool操作和线性upsample操作从二是的网络在细节的表现能力上更好，使用文章的方法实现自编码器损失为0.0079，而使用pool和线性upsample操作得到的损失为0.063。下图便是两者很直观的视觉比较，可以看到文章3D的方法在细节的保留能力上更佳。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]

**网络结构：**  
这里的网络结构详细见下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
文章编解码网络与ResNet系列网络的性能比较：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
网络的超参数 D D D对于最后性能的影响：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]

# 3. 实验结果 #

与monodepth的性能比较：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7][]  
KITTI数据集上的性能比较：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]  
文章方法与其它一些方法视觉上的直观对比：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 9]

[packnet-sfm]: https://github.com/TRI-ML/packnet-sfm
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20221014/7de522b229bf47009220dfe571328f37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20221014/ce2acdd6fefe4458939f4bfbb6344205.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20221014/e641aead66bc4d01b315783d8129f7e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20221014/3bfb211bc10e4301bf199fc9f0e4609c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20221014/822f106370734fd2965d6510d81bd3d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20221014/3af67b649eff4fcc94cf574f3136648c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20221014/6959b1eb7ff240adaea2185093ab742d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]: /images/20221014/81c98f9baf354e46956649a2070a2dd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]: /images/20221014/cf113155bca04e11bfb31822e7c31a02.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 9]: /images/20221014/e84a0b480ef749e0b3e33ff34a977967.png