SLAM_视觉SLAM中的一种单目稠密建图方法

分手后的思念是犯贱 2022-11-16 05:50 350阅读 0赞

**目录**

介绍

单目稠密建图

极线搜索与块匹配

块匹配

深度滤波器

常见问题与改进

--------------------

# 介绍 #

之所以只讲**单目**的**稠密建图**，这是因为，**首先**，对于RGBD图，我们已知所有点的深度，可以直接生成稠密的点云。**其次**，对于稀疏地图，其实很多VO中已经完成了稀疏地图的构建，但是**稀疏地图**只能用于**定位**，不能用于**导航避障**之类的工作。所以很多slam系统中会额外进行稠密地图、甚至语义地图的构建。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNTE4OTU2_size_16_color_FFFFFF_t_70][]

# 单目稠密建图 #

通常在单目VO中，我们通过**特征点匹配**与**三角测量**可以获得稀疏地图点的**深度**，现在我们想要建立稠密的地图，这意味着我们需要获得图片中所有像素点的深度。那么首先我们需要做的一点就是确定第一幅图的某个像素出现在其他图中的位置。此时我们当然可以遍历所有的像素点，然后计算所有像素点的描述子，然后在另一幅图片中寻找与其匹配的点。但是，这种方法先不说效果如何，光想想每一幅图像我们需要计算与匹配的特征描述子数量就够吓人的了。所以这种方法应该是不可取的。

> 针对这个问题，一种比较有效的方法是使用**极线搜索**与**块匹配**技术。

## 极线搜索与块匹配 ##

首先，在slam中建图，我们是可以使用**前端**的测量结果的，所以我们知道每一帧的**相机位姿**，也就是相机的**外参**，根据相机的外参与内参，我们可以将基准帧上的一点![20200723204437784.png][]（我们也称该点为种子）投影到当前帧的一条射线上，这条线也叫做**极线**（具体原理可以参考**[对极几何][Link 1]**）。所以我们想找的点就在这条极线上，而在极线上确定这个点的过程就叫做**极线搜索**。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNTE4OTU2_size_16_color_FFFFFF_t_70 1][]

> 只要知道了两帧之间的相对位姿就可以确定**极线**，不过如果还知道点的**初始深度**，此时还可以缩小找匹配时的搜索量。

确定极线的方法有很多，我们在这里介绍一种svosvo中确定极线的方法：

1.  在种子![20200723204559615.png][]的**深度延长线**上，构造两个三维点![20200723204607148.png][]，这两个三维点来源自**同一个像素**，只是确定它们的**深度不同**。在深度滤波器中一般是设置为![2020072320463488.png][]与![20200723204642770.png][]，其中![20200723204703700.png][]是种子的**初始深度**，![20200723204712988.png][]是深度的方差，![20200723204721549.png][]可以调节成不同的值，比如![20200723204728541.png][]等，一般取**3**。
2.  将![20200723205433435.png][]利用帧间位姿，投影到当前帧，投影点为![20200723205443770.png][]，连接![2020072320545466.png][]就是我们所要的极线（此处是一个线段）

### 块匹配 ###

其实极线搜索我们一般都是采用了**块匹配**的方式。所谓的块匹配就是说对于极线上的一个点，我们判断它与参考点的相关性，是通过在点周围取一个![20200723205553322.png][]的小块，然后在基线上也取很多**同样大小的小块**进行比较。比较的方法有很多，主要是衡量两个小块的相似性。

此处，我们假设对于一个像素点![2020072320561291.png][]，我们将其周围的小块记成![20200723205621613.png][]，把极线上的每个点的小块记为![2020072320563395.png][]。那么，下列方法都可以用来计算小块之间的差异。

*  SAD(Sum of Absolute Difference)。取两个小块的差的**绝对值**之和（这个结果越大，说明越不匹配，越接近0，块的相似度越高）：

![20200723205804793.png][]

*  **SSD**(Sum of Squared Distance)。即取两个小块的差的**平方和**（这个结果越大，说明越不匹配，越接近0，块的相似度越高）：

![20200723205816966.png][]

*  **NCC**(Normalized Cross Correlation)。即计算两个小块的**归一化互相关**（这个结果越大，说明相似度越高，0时代表完全不相关）：

![20200723205829137.png][]

> 上述三种方法是比较常见的三种方法，现实中我们使用的方法可能要更复杂一点，比如在![20200723205927879.png][]中使用的是![20200723205935740.png][]对![20200723205943268.png][]的矩形![20200723205957528.png][]计算**相似性**，与此同时，通常我们在计算小块的差异之前，还需要做一些**预处理操作**，比如**去均值**（减小亮度影响）、根据**参考帧**与**当前帧**间的运动首先将块进行对应的**仿射变换**再进行匹配等。

## 深度滤波器 ##

在使用极线搜索与块匹配确定了匹配的像素之后，使用**[三角测量][Link 2]**便可以确定出该点的**深度**。但是我们知道，测量出来的像素也许是有噪声的，所以单次测量出来的深度其实是一个不确定值，我们可以假设它服从一种**概率分布**（lsd中假设为高斯分布），通过对于多帧不断的进行上述操作，我们可以尝试对测量出来的深度进行优化。这样，如何估计每个像素点的深度就变成了一个状态估计的问题，此时会存在滤波器与非线性优化两种求解的思路。

我们当然可以直接构造**非线性最小二乘**，然后使用非线性优化的方法进行求解，但是要知道我们是对整幅图像的所有像素进行深度估计，这样做计算量会很大，因此很多稠密建图的工作都是使用滤波器的方法更新深度，其中![20200723210140662.png][]使用的是**卡尔曼滤波器**，![20200723210153281.png][]提出了一种**深度滤波器**的方法。有时间会详细介绍这种方法。

## 常见问题与改进 ##

*  使用块匹配的方法很依赖图像环境，比如**梯度明显的小块**可能比较**好区分**，梯度不明显的像素容易引起误匹配。

![format_png][]

*  在深度滤波器中假设深度满足**高斯分布**其实是**不合理**的，因为深度通常不像是高斯分布是一个**对称的分布**，而是一边短（因为深度不会小于相机焦距，近似0），一边长（深度可以是很深甚至无穷远）,所以我们可以采用**逆深度**的概念，即假设深度的倒数（即将![20200723211145172.png][]改为![20200723211151548.png][]）（**视差**）为高斯分布，这样会得到更好的结果。
 *  假设相机发生了旋转，那么块的**相似性**很难保持（比如上黑下白的图像库旋转会变成上白下黑）,所以我们需要计算**仿射矩阵**（通过**三点法**确定），通过仿射矩阵将基准帧中的块![20200723211232963.png][]里的像素坐标逐一映射到当前帧中，这样映射的所有坐标就组成了块![20200723211241557.png][]。
 *  由上面的介绍，我们会发现对每个像素的深度估计的过程都是相同但是独立的，因此我们可以**并行的**处理他们。GPU编程会比较适合。
 *  使用**统计滤波器**去除**孤立点**。（统计每个点与它最近的N个点的距离值分布，去除距离均值过大的点）
 *  使用**体素滤波器**去除**重叠点**。因为我们重建是基于很多图片，不可避免一个点可能在好多图片都观察到了，此时体素滤波器保证在某一个一定大小的立方体（也叫体素）内仅有一个点，相当于对三维空间进行了**降采样**，从而节省存储空间。体素滤波器可以根据不同的需求设置不同的**分辨率**

参考： 视觉SLAM十四讲

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNTE4OTU2_size_16_color_FFFFFF_t_70]: /images/20221022/bd8bcd6b36ac4e2f9e0a635d46bda401.png
[20200723204437784.png]: /images/20221022/f6f5b3209103416ab22c9c3a46f154f0.png
[Link 1]: https://blog.csdn.net/qq_42518956/article/details/107143655
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNTE4OTU2_size_16_color_FFFFFF_t_70 1]: /images/20221022/1126e83efb45438d9f8b87ed961168f6.png
[20200723204559615.png]: https://img-blog.csdnimg.cn/20200723204559615.png
[20200723204607148.png]: https://img-blog.csdnimg.cn/20200723204607148.png
[2020072320463488.png]: https://img-blog.csdnimg.cn/2020072320463488.png
[20200723204642770.png]: https://img-blog.csdnimg.cn/20200723204642770.png
[20200723204703700.png]: https://img-blog.csdnimg.cn/20200723204703700.png
[20200723204712988.png]: https://img-blog.csdnimg.cn/20200723204712988.png
[20200723204721549.png]: https://img-blog.csdnimg.cn/20200723204721549.png
[20200723204728541.png]: /images/20221022/7689f0504c3f446786185e02d3035fdb.png
[20200723205433435.png]: https://img-blog.csdnimg.cn/20200723205433435.png
[20200723205443770.png]: https://img-blog.csdnimg.cn/20200723205443770.png
[2020072320545466.png]: /images/20221022/a987754c352445b0a90b855a318dbfd4.png
[20200723205553322.png]: /images/20221022/fe22afa28db2419ebff49ddc79b047ad.png
[2020072320561291.png]: https://img-blog.csdnimg.cn/2020072320561291.png
[20200723205621613.png]: https://img-blog.csdnimg.cn/20200723205621613.png
[2020072320563395.png]: /images/20221022/d49421b1c8cb4abe905b94b9a734e6a9.png
[20200723205804793.png]: /images/20221022/866592054b01489694ea4620970663c1.png
[20200723205816966.png]: /images/20221022/75886818ae49490dae3a4fdbdf58808c.png
[20200723205829137.png]: /images/20221022/a812d8ff1116401390e6befff01380e8.png
[20200723205927879.png]: https://img-blog.csdnimg.cn/20200723205927879.png
[20200723205935740.png]: https://img-blog.csdnimg.cn/20200723205935740.png
[20200723205943268.png]: https://img-blog.csdnimg.cn/20200723205943268.png
[20200723205957528.png]: /images/20221022/84d179bcc55a4c2190910bae95584f77.png
[Link 2]: https://blog.csdn.net/qq_42518956/article/details/107168272
[20200723210140662.png]: https://img-blog.csdnimg.cn/20200723210140662.png
[20200723210153281.png]: /images/20221022/aed46bd721c04329950a08103214177c.png
[format_png]: /images/20221022/010b2218a28843f884f662607f9e4a55.png
[20200723211145172.png]: https://img-blog.csdnimg.cn/20200723211145172.png
[20200723211151548.png]: /images/20221022/1e15bb6f4c97425ba97e8a6900334ca8.png
[20200723211232963.png]: https://img-blog.csdnimg.cn/20200723211232963.png
[20200723211241557.png]: /images/20221022/c39228ce181946aab8c4f2a24bab27c3.png