双目标定与三维计算：从理论到OpenCV实践

本是古典何须时尚 2022-05-15 07:09 373阅读 0赞

**（转载请注明出处：[http://blog.csdn.net/zhazhiqiang/][http_blog.csdn.net_zhazhiqiang] 未经允许请勿用于商业用途）**

[一、双目立体成像主要步骤 2][2]

[二、三角测量 3][3]

[2.1 主光线在无穷远处相交 3][2.1 _ 3]

[2.2 主光线在有限距离内相交 3][2.2 _ 3]

[2.3 深度与视差 4][2.3 _ 4]

[2.4 双目立体坐标系 5][2.4 _ 5]

[2.5 实际情况的双目 5][2.5 _ 5]

[三、对级几何 6][6]

[3.1 对极几何的定义 6][3.1 _ 6]

[3.2 极点极线极面的定义 6][3.2 _ 6]

[3.3 对极几何的一些结论 7][3.3 _ 7]

[四、本征矩阵E和基础矩阵F 8][E_F 8]

[4.1 基本信息 8][4.1 _ 8]

[4.2 两者区别 8][4.2 _ 8]

[4.3 本征矩阵E的表达式 9][4.3 _E_ 9]

[4.4 基础矩阵F的表达式 9][4.4 _F_ 9]

[4.5 基础矩阵F的求解 10][4.5 _F_ 10]

[五、极线的计算 10][10]

[六、立体标定 10][10 1]

[6.1 立体标定目的 11][6.1 _ 11]

[6.2 R和T理论到OpenCV求解 11][6.2 R_T_OpenCV_ 11]

[6.2.1 OpenCV处理函数 11][6.2.1 OpenCV_ 11]

[6.2.2 双目标定与单目标定的区别 11][6.2.2 _ 11]

[6.2.3 R和T的理论推导 11][6.2.3 R_T_ 11]

[6.2.4 结合单目标定和双目标定求解 11][6.2.4 _ 11]

[七、立体校正 12][12]

[7.1 立体校正目的 13][7.1 _ 13]

[7.2 八个校正项 13][7.2 _ 13]

[7.3 两种校正算法 13][7.3 _ 13]

[7.3.1 Hartley校正算法：非标定立体校正 13][7.3.1 Hartley_ 13]

[7.3.2 Bouguet校正算法：标定立体校正 13][7.3.2 Bouguet_ 13]

[7.4 校正映射 15][7.4 _ 15]

[八、立体匹配 16][16]

[九、计算3D坐标 17][3D_ 17]

[十、OpenCV主要相关函数 18][OpenCV_ 18]

# 一、双目立体成像主要步骤 #

![1474077-20180826212532329-1741305314.png][]

# 二、三角测量 #

## 2.1 主光线在无穷远处相交 ##

![1474077-20180826212532552-81836551.png][]

![1474077-20180826212532735-2088782387.png][]

## 2.2 主光线在有限距离内相交 ##

![1474077-20180826212532894-1804977896.png][]

## 2.3 深度与视差 ##

![1474077-20180826212533094-766331463.png][]

## 2.4 双目立体坐标系 ##

![1474077-20180826212533860-137688764.png][]

## 2.5 实际情况的双目 ##

![1474077-20180826212534061-71440251.png][]

![1474077-20180826212534375-187248211.png][]

# 三、对级几何 #

## 3.1 对极几何的定义 ##

立体成像的基本几何学就是对极几何。

对极几何就是将两个针孔模型和极点结合起来。

![1474077-20180826212534817-876284826.png][]

## 3.2 极点极线极面的定义 ##

![1474077-20180826212535084-1533015700.png][]

## 3.3 对极几何的一些结论 ##

![1474077-20180826212535301-1451345202.png][]

# 四、本征矩阵E和基础矩阵F #

## 4.1 基本信息 ##

本征矩阵E包含在物理空间中两个摄像机相关的旋转与平移信息；

基础矩阵F除了包含E的信息外还包括两个摄像机的内参数。

![1474077-20180826212535516-653233703.png][]

## 4.2 两者区别 ##

![1474077-20180826212535716-1480878466.png][]

## 4.3 本征矩阵E的表达式 ##

![1474077-20180826212535912-85110423.png][]

![1474077-20180826212536112-614048174.png][]

本征矩阵E包含旋转参数、平移参数。

## 4.4 基础矩阵F的表达式 ##

![1474077-20180826212536362-229239902.png][]

![1474077-20180826212536542-1578610551.png][]

基础矩阵F包含本征矩阵E和左右相机的内参。

## 4.5 基础矩阵F的求解算法 ##

![1474077-20180826212536867-1145410555.png][]

在没有摄像机标定的情况下，可以通过匹配点来求解基础矩阵F，基础矩阵F包含本征矩阵E，

（1）7点算法

![1474077-20180826212537081-1508463397.png][]

缺点对异常点非常敏感。

（2）8点算法

![1474077-20180826212537266-826475394.png][]

缺点对异常点非常敏感。

（3）RANSAC算法和LmedS算法

![1474077-20180826212537428-688843049.png][]

# 五、极线的计算 #

![1474077-20180826212537622-31516163.png][]

![1474077-20180826212538301-1363465624.png][]

# 六、立体标定 #

## 6.1 立体标定目的 ##

立体标定是计算空间上两台摄像机几何关系的过程。

立体标定依赖于查找两台摄像机之间的旋转矩阵R和平移向量T。

## 6.2 R和T理论到OpenCV求解 ##

### 6.2.1 OpenCV处理函数 ###

R和T都是通过函数cvStereoCalibate()来计算的。

### 6.2.2 双目标定与单目标定的区别 ###

![1474077-20180826212538469-1039669659.png][]

### 6.2.3 R和T的理论推导 ###

![1474077-20180826212538689-1187810424.png][]

![1474077-20180826212538857-1192020622.png][]（来自\[文献3\]）

### 6.2.4 结合单目标定和双目标定求解 ###

![1474077-20180826212539068-1876074720.png][]

![1474077-20180826212539226-553156143.png][]

# 七、立体校正 #

## 7.1 立体校正目的 ##

立体校正的目的主要是让左右相机的图像完全行对准。

![1474077-20180826212539493-1539091794.png][]

## 7.2 八个校正项 ##

![1474077-20180826212539670-656760371.png][]

## 7.3 两种校正算法 ##

### 7.3.1 Hartley校正算法：非标定立体校正 ###

Hartley校正算法只使用基础矩阵来生成非标定立体视觉；Hartley算法可以通过单个摄像机记录的运动推导出立体结构，虽然单个摄像机会比Bouguet标定算法产生更多的畸变图像。

![1474077-20180826212540066-463162813.png][]

![1474077-20180826212540267-115977429.png][]

### 7.3.2 Bouguet校正算法：标定立体校正 ###

![1474077-20180826212540432-173566174.png][]

![1474077-20180826212540619-1470407957.png][]

![1474077-20180826212541191-1208489303.png][]

![1474077-20180826212541386-583589081.png][]

![1474077-20180826212542174-113304608.png][]

![1474077-20180826212542409-1275166245.png][]

![1474077-20180826212542633-582118076.png][]

![1474077-20180826212542815-1245713199.png][]

## 7.4 校正映射 ##

![1474077-20180826212543032-1070578405.png][]

![1474077-20180826212543233-154642494.png][]

![1474077-20180826212543457-1932630637.png][]

# 八、立体匹配 #

立体匹配的目的是通过匹配得到视差。

![1474077-20180826212543689-1481071541.png][]

![1474077-20180826212543852-179329226.png][]

![1474077-20180826212544203-1262929794.png][]

![1474077-20180826212544400-1591467984.png][]

# 九、计算3D坐标 #

通过视差，可以得出图像点对应的3D坐标。

![1474077-20180826212544608-436533787.png][]

![1474077-20180826212544793-303745774.png][]

结果：

![1474077-20180826212544944-1419261817.png][]

![1474077-20180826212545116-843332134.png][]

![1474077-20180826212545266-262472888.png][]

# 十、OpenCV1.1主要相关函数 #

## 10.1 双目标定流程与对应主要函数 ##

（1）查找棋盘角点：cvFindChessboardCorners；

（2）显示角点结果：cvDrawChessboardCorners；

（3）亚像素角点：cvFindCornerSubPix；

（4）立体标定：cvStereoCalibrate；

（5）双目点畸变矫正：cvUndistortPoints

（6）统计双目标定误差：

计算极线（需要基础矩阵F）：cvComputeCorrespondEpilines；

**注意**：基础矩阵F有两种求解方式：

i.通过立体标定cvStereoCalibrate求解；

ii.通过匹配点求解cvFindFundamentalMat；

（7）立体校正（行对准）

\[A\]方式一：非标定立体校正

a.求基础矩阵F：cvFindFundamentalMat；

b.非标定立体校正（需要基础矩阵F）：cvStereoRectifyUncalibrated；

**注意**：其实可以有两种使用方式：

i.未标定：cvFindFundamentalMat+cvStereoRectifyUncalibrated；

ii.标定：cvStereoCalibrate+cvStereoRectifyUncalibrated；

c.校正映射：cvInitUndistortRectifyMap+cvRemap；

\[B\]方式二：标定立体校正

a.标定立体校正：cvStereoRectify（**注意**：可获得重投影矩阵Q）；

b.校正映射：cvInitUndistortRectifyMap+cvRemap；

（8）立体匹配（输出视差）

\[A\]方式一：BM算法

结构体：CvStereoBMState

函数：

cvCreateStereoBMState；

cvFindStereoCorrespondenceBM；

cvReleaseStereoBMState；

\[B\]方式二：GC算法

结构体：CvStereoGCState

函数：

cvCreateStereoGCState；

cvFindStereoCorrespondenceGC；

cvReleaseStereoGCState；

（9）根据视差d和重投影矩阵Q计算3D坐标（**注意**：输入项重投影矩阵Q可以从cvStereoRectify获取）

\[A\]方式一：获取序列点的3D坐标

cvPerspectiveTransform；

\[B\]方式二：获取整幅图像的3D坐标

cvReprojectImageTo3D。

## 10.2 主要相关函数详解 ##

## 10.3 双目标定示例代码 ##

# 十一、OpenCV2.1新增功能与性能提升 #

## 11.1 2.1版增强了Stereo Vision方面的功能 ##

(1) 新增了 SGBM 立体匹配算法（源自Heiko Hirschmuller的《[Stereo Processing by Semi-global Matching and Mutual Information][]》

[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.88.8897&rep=rep1&type=pdf][Stereo Processing by Semi-global Matching and Mutual Information]），可以获得比 BM 算法物体轮廓更清晰的视差图（但低纹理区域容易出现横/斜纹路，在 GCstate->fullDP 选项使能时可消减这种异常纹路，但对应区域视差变为0，且运行速度会有所下降），速度比 BM 稍慢， 352\*288的帧处理速度大约是 5 帧/秒；

(2) 视差效果：BM < SGBM < GC；处理速度：BM > SGBM > GC ；

(3) BM 算法比2.0版性能有所提升，其状态参数新增了对左右视图感兴趣区域 ROI 的支持（roi1 和 roi2，由stereoRectify函数产生）；

(4) BM 算法和 GC 算法的核心代码改动不大，主要是面向多线程运算方面的（由 OpenMP 转向 Intel TBB）；

(5) cvFindStereoCorrespondenceBM 函数的disparity参数的数据格式新增了 CV\_32F 的支持，这种格式的数据给出实际视差，而 2.0 版只支持 CV\_16S，需要除以 16.0 才能得到实际的视差数值。

11.2

# 十二、双目标定效果不好的原因分析 #

（1）**OpenCV双目标定的内参结果稍差于Matlab**（来自\[文献3\]）

（2）**提高标定结果的精度和稳定性的方法**（来自\[文献3\]）：

*  在抓取图像时，要尽量让标定板占满整个图像画面；
    
     *  标定板拍摄图片不能太少，以20幅左右为宜，且拍摄每幅图片时标定板所在平面与成像平面要有夹角和距离上的变化；
     *  先对左右摄像机单独标定，再利用单独标定结果进行双目标定，标定结果要好于直接利用标定图像进行双目标定。

# 参考文献 #

1.  \[书籍\]学习OpenCV：第十二章 投影与三维视觉
2.  \[书籍\]基于OpenCV的计算机视觉技术实现
3.  \[期刊\]基于OpenCV的双目摄像机标定

[http://www.doc88.com/p-7502068257943.html][http_www.doc88.com_p-7502068257943.html]

[http_blog.csdn.net_zhazhiqiang]: http://blog.csdn.net/zhazhiqiang/
[2]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc26282
[3]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc8680
[2.1 _ 3]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc23642
[2.2 _ 3]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc16305
[2.3 _ 4]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc6168
[2.4 _ 5]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc6221
[2.5 _ 5]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc2400
[6]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc30535
[3.1 _ 6]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc26528
[3.2 _ 6]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc12314
[3.3 _ 7]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc29452
[E_F 8]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc23110
[4.1 _ 8]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc17622
[4.2 _ 8]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc21281
[4.3 _E_ 9]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc29244
[4.4 _F_ 9]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc23337
[4.5 _F_ 10]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc8470
[10]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc4830
[10 1]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc25035
[6.1 _ 11]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc31594
[6.2 R_T_OpenCV_ 11]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc457
[6.2.1 OpenCV_ 11]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc426
[6.2.2 _ 11]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc25341
[6.2.3 R_T_ 11]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc3664
[6.2.4 _ 11]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc2019
[12]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc11314
[7.1 _ 13]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc16669
[7.2 _ 13]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc7689
[7.3 _ 13]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc4272
[7.3.1 Hartley_ 13]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc18216
[7.3.2 Bouguet_ 13]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc14436
[7.4 _ 15]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc9976
[16]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc21457
[3D_ 17]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc25912
[OpenCV_ 18]: https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html#_Toc9245
[1474077-20180826212532329-1741305314.png]: /images/20220515/844d20189f2341bbb5ba0a0ec17eb719.png
[1474077-20180826212532552-81836551.png]: /images/20220515/36f48f08d48b4cfdbdabab6033e69d38.png
[1474077-20180826212532735-2088782387.png]: /images/20220515/6f24e4ccde7c4fc7a21f59af46ae05d0.png
[1474077-20180826212532894-1804977896.png]: /images/20220515/31fbf662582e4df58dda891f0c8bd621.png
[1474077-20180826212533094-766331463.png]: /images/20220515/994844374ad14085b6b8131159bbb767.png
[1474077-20180826212533860-137688764.png]: /images/20220515/9f9e5e07ec6a48a4be6b251adc7917f7.png
[1474077-20180826212534061-71440251.png]: /images/20220515/2ba03f874fff4563b9f300e2d621570a.png
[1474077-20180826212534375-187248211.png]: /images/20220515/5b57f2d44b51409696f4eff9026906fc.png
[1474077-20180826212534817-876284826.png]: /images/20220515/5c13fc8bc932470ba7a242d8fa02191e.png
[1474077-20180826212535084-1533015700.png]: /images/20220515/69273b5a77564582a664a30cd8324bcc.png
[1474077-20180826212535301-1451345202.png]: /images/20220515/488491aad0504a578646af2af36ec604.png
[1474077-20180826212535516-653233703.png]: /images/20220515/ede94441fff5481eafabb6201b209c12.png
[1474077-20180826212535716-1480878466.png]: /images/20220515/c9e1d1cc46cf4deea137ec4c5b234088.png
[1474077-20180826212535912-85110423.png]: /images/20220515/e5c96501b1cc442dbf50d964dfcb30a2.png
[1474077-20180826212536112-614048174.png]: /images/20220515/e5b876b0039e488f81cce95f0d6628cb.png
[1474077-20180826212536362-229239902.png]: /images/20220515/9615e13df84746afadf460da1dc7de6a.png
[1474077-20180826212536542-1578610551.png]: /images/20220515/dd34051b21a34418a2d6df4b2efaed78.png
[1474077-20180826212536867-1145410555.png]: /images/20220515/83a2c795ba2d494da260c2f9e157464e.png
[1474077-20180826212537081-1508463397.png]: /images/20220515/09d32f8aa41d4b6885f1e29483bea350.png
[1474077-20180826212537266-826475394.png]: /images/20220515/e1d2c2946b384a22b4d311a088b15bc3.png
[1474077-20180826212537428-688843049.png]: /images/20220515/b2576a5952af4f109cf8e8eb63caca8e.png
[1474077-20180826212537622-31516163.png]: /images/20220515/f471b438d718470cacbe14eb32654cdf.png
[1474077-20180826212538301-1363465624.png]: /images/20220515/de6be6c7541e49369f9d35659a774dfa.png
[1474077-20180826212538469-1039669659.png]: /images/20220515/ab6fcda693b74ee8836b34a34c02b3dc.png
[1474077-20180826212538689-1187810424.png]: /images/20220515/b98d236b1d9d4056abbc139f07cc03bc.png
[1474077-20180826212538857-1192020622.png]: /images/20220515/abe9bc839c764c0380e94b2eba681606.png
[1474077-20180826212539068-1876074720.png]: /images/20220515/48c22725ac874e2bb6bacdcfe6f8cbd9.png
[1474077-20180826212539226-553156143.png]: /images/20220515/0eba0274281b4ae88747cef8ca183031.png
[1474077-20180826212539493-1539091794.png]: /images/20220515/756e29f40f364bd9becde422782b1d2c.png
[1474077-20180826212539670-656760371.png]: /images/20220515/a24087381f784ac1b6c98461b412b6a2.png
[1474077-20180826212540066-463162813.png]: /images/20220515/eac65e0faae64bf080ab49dfde1894d1.png
[1474077-20180826212540267-115977429.png]: /images/20220515/af7b26a7668b471a8c6d465116c92aec.png
[1474077-20180826212540432-173566174.png]: /images/20220515/2b458f7fbd8e4e0cb86d968e89ba6845.png
[1474077-20180826212540619-1470407957.png]: /images/20220515/6cf28057114e4b8db683814c96f7ae8a.png
[1474077-20180826212541191-1208489303.png]: /images/20220515/8be5b8ac05d94e5ba8cf5cf1b74e5658.png
[1474077-20180826212541386-583589081.png]: /images/20220515/47ea1a09451f499ca1fa0a0b272299cb.png
[1474077-20180826212542174-113304608.png]: /images/20220515/71cbf396be9142c3bdfd0e7aa113f3b6.png
[1474077-20180826212542409-1275166245.png]: /images/20220515/105a4af5424f45df824cddc465667017.png
[1474077-20180826212542633-582118076.png]: /images/20220515/3f719d69fb144661ab2eee768875558b.png
[1474077-20180826212542815-1245713199.png]: /images/20220515/8a0b703806194dc693f0278bdf605092.png
[1474077-20180826212543032-1070578405.png]: /images/20220515/ac060d61a13d4cf1a21ace21da0d190a.png
[1474077-20180826212543233-154642494.png]: /images/20220515/d0b324181a3a4c2e9ef24a88dc4aa85c.png
[1474077-20180826212543457-1932630637.png]: /images/20220515/5f8426cfdae44dfda404d1dc3e226869.png
[1474077-20180826212543689-1481071541.png]: /images/20220515/95db4e238c594c5f91218b8750594d0f.png
[1474077-20180826212543852-179329226.png]: /images/20220515/44e65fb634a048a28754d47a0abbb579.png
[1474077-20180826212544203-1262929794.png]: /images/20220515/a844ebcbc9a144fdaeb0c9a0fcc6f29d.png
[1474077-20180826212544400-1591467984.png]: /images/20220515/bf25c844737441b6afc3a4b28346e090.png
[1474077-20180826212544608-436533787.png]: /images/20220515/1ea3a5d804d24105b97bf538f419fbeb.png
[1474077-20180826212544793-303745774.png]: /images/20220515/097bdf0cc4694adcb456d06deb000dad.png
[1474077-20180826212544944-1419261817.png]: /images/20220515/ac78227976c14b00a412f51a2d526b05.png
[1474077-20180826212545116-843332134.png]: /images/20220515/a350435c6b6f4bf082f3233b1caf3ab1.png
[1474077-20180826212545266-262472888.png]: /images/20220515/e350cfe186d44639901650c7461e146d.png
[Stereo Processing by Semi-global Matching and Mutual Information]: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.88.8897&rep=rep1&type=pdf
[http_www.doc88.com_p-7502068257943.html]: http://www.doc88.com/p-7502068257943.html