三维重建笔记_相机标定_求本质矩阵E

爱被打了一巴掌 2023-07-02 08:25 19阅读 0赞

**目录**

1. 怎样求本质矩阵E（ Essential Matrix）？

2. 为什么要求解 本质矩阵E？

2.1 p'(另外一个相机的外参)4种可能性，怎样排除？

2.2 Triangulation图示

2.3 怎样判断点在相机的前面？

3. Triangulation

3.1 直接线性变换，初始化

3.2 中点算法 -- 恢复三维点坐标

a. 列方程

b. 统一到相同坐标系

c. 变换成线性方程求解

d. 使用Reprojection Error优化结果

4. 总结

--------------------

# 1. 怎样求本质矩阵E（ Essential Matrix）？ #

**方法1：**使用**公式**![20200128122139272.png][], 在F已经知道条件下，K1,K2为两幅图像对应的相机的内参；

**方法2：**设![20200128122514601.png][]，xi表示归一化了的一图像点坐标，则求解E的公式变成了![20200128122238272.png][]，这个公式类似Fundamental Matrix的求解公式了，这时就可以使用**求解F的方法**来求解E：**进行SVD、加上矩阵rank等于2的约束**(第三个特征值等于0)；同时E还有一个限制条件，即另外两个特征值要相等，所以下图做了变换。

\-----------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

\-----------------------------------------------------------

*  本质矩阵E可通过**5组对应点**求解（5点法，因为E=R\[t\]x ,R旋转矩阵有3个自由度，t有2个自由度（因为从 two views不能得到物体的尺度scale的），所以5个自由度至少需要5个点）；
 *  5点算法相比8点算法的好处是：不会退化（即，即使5个点在同一个平面上的情况，也是可以通过这5个点初始化求解E）

\-----------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

\-----------------------------------------------------------

# 2. 为什么要求解 本质矩阵E？ #

因为有了E，就可以分解（decompose）出来二视图下的两个相机矩阵（内参|外参）；

从这两个相机矩阵，就可以得到两个相机的相对运动。

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

\--------------------------------------------------------------------------

## **2.1 p'(另外一个相机的外参)4种可能性，怎样排除？** ##

答：4个解中只有1个是对的。另外3个是噪声解，噪声解的来源是因为，在小孔成像模型中，并**没有要求投影点在相机的前面。**通过对这4个解做 **Triangulation**，当你假设了这两相机位置以后，triangulate 出来一个三维点x后，看这个点**在相机的前面还是在背面**，如果假设是要求这个三维点x在两个相机的**前面**，那么这4个解中只会有一个解满足条件，这时可以找到正确的解（另外一个相机的外参）了。

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

\--------------------------------------------------------------------------

## **2.2 Triangulation图示** ##

在求得 E 本质矩阵后，camera1的相机矩阵（外参）已经可知，camera2此时有4个解，假设一个解之后，加上一对correspondence(对应点)，求解三维点的位置，这个过程使用的是 Triangulation 方法.

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4][]

\--------------------------------------------------------------------------

## 2.3 怎样判断点**在相机的前面？** ##

判断三维点在相机上的投影线 与 相机的朝向 的夹角大于还是小于90度；在4种情况里面，挑选那些在相机前面的点最多的configuration，作为最后的答案，从而得到另外一个相机矩阵（外参）。

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5][]

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6][]

\--------------------------------------------------------------------------

# **3. Triangulation** #

给定两个相机矩阵，给定一对点，**找出三维点坐标**的过程，称之为 Triangulation。如下图所示。

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 7][]

\--------------------------------------------------------------------------

## 3.1 直接线性变换，初始化 ##

直接线性变换的方法，最后要minimize的误差是代数误差，精度低，一般只用于快速的初始化。一般用更好的方法，如 Mid‐point Algorithm（中点算法），如下一张截图所示。

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 8][]

\--------------------------------------------------------------------------

## 3.2 中点算法 -- 恢复三维点坐标 ##

### a. 列方程 ###

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 9][]

\--------------------------------------------------------------------------

### b. 统一到相同坐标系 ###

将第二个相机的参数变换到统一的 坐标系下（第一个相机坐标系）：

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 10][]

\--------------------------------------------------------------------------

### c. 变换成线性方程求解 ###

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 11][]

\--------------------------------------------------------------------------

### d. 使用Reprojection Error优化结果 ###

\--------------------------------------------------------------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 12][]

\--------------------------------------------------------------------------

注意：上述的 triangulation，可以工作于未标定的相机上。这在过去没有那么容易得到相机的内参(intrinsic matrix)时，是很重要的主流方法。

# 4. 总结 #

![20200129151701181.png][]

[20200128122139272.png]: https://img-blog.csdnimg.cn/20200128122139272.png
[20200128122514601.png]: https://img-blog.csdnimg.cn/20200128122514601.png
[20200128122238272.png]: https://img-blog.csdnimg.cn/20200128122238272.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200128122949327.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200128123911164.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200128130910420.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200129104055430.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2020012910482594.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200129111130335.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200129111153361.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/2020012914331694.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200129143823921.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/2020012914582872.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200129150001303.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200129150530535.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200129150824874.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[20200129151701181.png]: https://img-blog.csdnimg.cn/20200129151701181.png