论文笔记_CV_AD_3D Reconstruction using a Sparse Laser Scanner and a Single Camera for Outdoor Autonomous

桃扇骨 2023-07-13 10:39 2阅读 0赞

**目录**

1 论文基本信息

2 看本篇论文目的

3 问题场景

4 核心解决思想

4.1 创新点

4.2 不足点

5 经典参考论文

--------------------

# 1 论文基本信息 #

*  论文题目：3D Reconstruction using a sparse laser scanner and a single camera for outdoor autonomous vehicle
 *  年份：2016
 *  出处：IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)
    
     *  中科院自动化所主办的IEEE系列会议
 *  作者：Honggu Lee, Soohwan Song and Sungho Jo
    
     *  Department of Computer Science, KAIST, Daejeon 305-701, Republic of Korea
     *  KAIST （韩国科学技术院）：来自知乎：“在韩国，KAIST是如同清华般的存在；在学术界，KAIST还是有很高的声誉，基本同领域的学者都知道。去美帝或者其他地方读博，KAIST是一个很好的跳板（KAIST有很多斯坦福、MIT级别的 partner universities ，很多教授是美帝牛校毕业的）”
 *  JO评价：
    
     *  思路清晰，写作规范有条理，行文逻辑可以参考。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

# 2 看本篇论文目的 #

*  了解激光雷达和相机结合，会有什么好的应用场景；
    
     *  *JO答：稠密深度地图*
 *  了解在自动驾驶领域，减低成本同时，又能不牺牲性能的解决方案。

# 3 问题场景 #

*  场景：
    
     *  自动驾驶汽车上，在宽阔的户外环境。
 *  背景描述：
    
     *  自动驾驶汽车，大部分目前采用激光和图像传感器，都需要有目标探测，避障，导航系统；
     *  对于以上系统，最重要的信息来源之一，就是一个精确稠密的三维深度地图（an accurate dense 3D depth map）。
        
         *  JO疑问：三维深度地图，在自动驾驶中，到底能发挥什么/多少作用？更合理的信息提供方式应该是什么？
 *  解决问题：
    
     *  使用**稀疏的激光扫描器+图像**，建立出**稠密的深度地图**。
        
         *  a Velodyne HDL-64E + RGB data

# 4 核心解决思想 #

*  两步:
    
     *  **1. 局部测距建模**阶段（the local range modeling phase）
        
         *  体素化和离群点（outlier points）检测
            
             *  将空间分割成包含局部范围点的离散体素，并利用点直方图特征寻找离群点。
             *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]
         *  使用高斯过程回归（Gaussian Process regression，**GP**），从激光扫描仪中插入3D点，同时保持物体的形状。
            
             *  参考资源：浅析高斯过程回归 [https://blog.csdn.net/qq\_20195745/article/details/82721666][https_blog.csdn.net_qq_20195745_article_details_82721666]
             *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]
     *  **2. 三维深度地图重建**阶段（3D depth map reconstruction phase）
        
         *  通过融合图像和插值点，来构建三维深度图；
            
             *  利用点直方图特征（a point histogram feature），有效地选择了与目标对应的三维点，消除了体素中的非相似点。
         *  并基于马尔可夫随机场（Markov Random Field，**MRF**）进行优化。
            
             *  **MRF：**用于融合两种不同类型的传感器数据。
 *  效果：
    
     *  提供了一个与**所有**图像像素对应的深度地图 (a depth map)。
     *  定性和时间复杂度的结果表明，我们的方法，在实时演示的自动驾驶汽车在复杂的城市场景，是鲁棒的和**足够快**的。
     *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

## 4.1 创新点 ##

*  老方法的新应用：激光扫描器+图像的**室外应用。**

## 4.2 不足点 ##

*  在一个**固定的体素**区域内**（**a fixed voxel region**）**插值三维点：
    
     *  有时会导致表面重叠（surfaces are overlapped），从而导致边缘失真（edge distortion）。
 *  进一步研究：
    
     *  激光雷达\[21\]可用于灌木、树冠等非刚性物体的重建；
        
         *  在未来的工作中，我们想要重建更加复杂的户外环境，包括树叶、灌木和植被。

# 5 经典参考论文 #

*  A. Geiger, P. Lenz, and R. Urtasun, “**Are we ready for autonomous driving? the kitti vision benchmark suite**,” in Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, **2012**, pp. 3354–3361.
 *  J. Diebel and S. Thrun, “**An application of markov random fields to range sensing**,” in Advances in **neural information processing systems**, **2005**, pp. 291–298.
    
     *  NIPS（NeurIPS），全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。在中国计算机学会的国际学术会议排名中，NIPS为人工智能领域的A类会议。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201212214928166.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201212215037756.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_qq_20195745_article_details_82721666]: https://blog.csdn.net/qq_20195745/article/details/82721666
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201212215124703.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201212215210597.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70