论文笔记_CV_AD_A Survey of Computer Vision Research for Automotive Systems

一时失言乱红尘 2023-07-13 04:19 9阅读 0赞

**目录**

1 现状

1.1 KITTI (国际计算机视觉算法评测数据集)

1.2 KITTI与其他数据库比较

2 自动驾驶中计算机视觉研究任务

2.1 stereo matching

2.2 Visual Odometry

2.3 3D Object Detection

3 关于实时性

4 深度卷积神经网络

--------------------

# 1 现状 #

*  目前的自动驾驶，严重依赖于一些特殊的传感器
    
     *  Velodyne 传感器（激光传感器）
        
         *  提供360度实时三维距离地图（360 degree real-time 3D distance map）；
         *  三维距离地图可用于障碍物检测和导航；
         *  **缺点**：costs 70,000 dollars。
     *  详细的精确地图
        
         *  例如，地图应该包括交通灯的高度。

## **1.1** **KITTI** **(**国际计算机视觉算法评测数据集) ##

*  提供了一套**视觉基准套件**（vision benchmark suite），
    
     *  创建目的
        
         *  鼓励计算机视觉研究团体开发算法，以减少对Velodyne激光雷达传感器和详细地图的依赖。
     *  任务包含
        
         *  **stereo matching**
         *  optical flow
            
             *  光流（optical flow）是空间运动物体在观察成像平面上的像素运动的瞬时速度。
         *  visual odometry,
         *  3D object detection
         *  3D tracking
     *  硬件：包含一辆标准旅行车，配备两个高分辨率彩色和灰度摄像机
     *  提供的数据：
        
         *  内容包括：
            
             *  以 Velodyne 激光扫描仪和GPS定位系统数据，作为 ground truth；
             *  提供原始数据，提供预处理数据作为每个任务的基准；
             *  提供评价指标和网站，让用户有相同的评价标准和一个平台，方便比较他们的结果。
         *  优点：KITTI提供了在真实世界中，而不是在实验室环境中记录的更真实的数据
         *  数据来源：在一个中等城市卡尔斯鲁厄(Karlsruhe)的乡村地区和高速公路上开车，就能捕捉到所有的基准
         *  详细参数说明：
            
             *  Andreas Geiger and Philip Lenz and Raquel Urtasun, ”**Are we ready for Autonomous Driving? The  
                KITTI Vision Benchmark Suite**,” Conference on Computer Vision and PatternRecognition (CVPR),2012.
         *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]
     *  KITTI评估网站提供了一个平台，让用户提交他们的方法，并以不同的方式进行比较，如运行时、环境、额外的输入信息和编码语言。

## 1.2 **KITTI**与其他数据库比较 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

# 2 自动驾驶中计算机视觉研究任务 #

## **2.1 stereo matching** ##

*  定义：
    
     *  从数字图像中提取三维信息的方法。两个水平放置的摄像机被用来获取一个场景的不同视角。通过对这两幅图像的比较，可以用视差形式，得到相对深度信息。
 *  代表论文（state-of-the-art method of stereo matching in KITTI benchmark）：
    
     *  Fatma Gney and Andreas Geiger,”**Displets: Resolving Stereo Ambiguities using Object Knowledge**,”  
        Conference on Computer Vision and PatternRecognitionRecognition (CVPR), 2015.
        
         *  使用一组汽车的三维CAD模型作为先验知识，使输出的视差图，适合这些模型，作为长距离正则化器，来解决反射或无纹理的问题。
 *  面临问题：
    
     *  对于反射或无纹理的表面，不容易恢复出二视图的差异。

## 2.2 Visual Odometry ##

*  定义：
    
     *  视觉测程\[3\]，是通过分析相关的相机图像，来确定位置和方向的过程。
 *  意义：
    
     *  GPS不可用时，提供 aid localization， 在小范围内；
     *  提供更精确的位置信息。
 *  操作步骤：
    
     *  a. 从 video 中，特征提取；
        
         *  或者，来自激光雷达系统或立体摄像机，获取三维信息。
     *  b. 构造光流（key step）；
     *  c. 分析光流，评估**相机运动**。
 *  代表工作：
    
     *  V-LOAM：Ji Zhang and Sanjiv Singh, ”**Visual-lidar Odometry and Mapping: Low-rift, Robust, and Fast,**” IEEE International Conference on Robotics and Automation(ICRA), 2015.

## 2.3 3D Object Detection ##

*  定义：
    
     *  检测某一类特定语义对象的实例的技术。
 *  KITTI benchmark中，检测目标为：Car, Cyclist, and Pedestrian。
 *  目前，大部分方法，都是使用单个相机图像来做，
    
     *  目前(2015)没有使用 LIDAR 系统或者是 stereo camera（立体相机）提供的3D信息，但这在未来值得研究。
 *  代表论文：
    
     *  Xiaoyu Wang and Ming Yang and Shenghuo Zhu and Yuanqing Lin,”**Regionlets for Generic Object Detection**,” International Conference on Computer Vision, 2013.

# 3 关于实时性 #

*  实时性的定义：人们通常将实时约束设置为每秒30帧。30帧/秒并不是一个特定的目标要求，这是人眼无法识别的阈值。
 *  软件层次，代表工作：
    
     *  \[10\] Ge, Junfeng, Yupin Luo, and Gyomei Tei., “**Real-time pedestrian detection and tracking at nighttime for driver-assistance systems**,” Intelligent Transportation Systems, IEEE Transactions on 10.2 (2009): 283-298.
     *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]
 *  硬件层次，代表工作
    
     *  \[11\] Hiromoto, Masayuki, and Ryusuke Miyamoto. “**Hardware architecture for high-accuracy real-time pedestrian detection with CoHOG features**,” Computer Vision Workshops (ICCV Workshops), 2009 IEEE 12th International Conference on. IEEE, 2009.
        
         *  在FPGAs上尝试并行执行计算，进行行人检测；
         *  使用的行人检测特征描述：Co-occurrence histograms of oriented gradients 共现直方图的方向梯度(Co-HOG)。
         *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

# 4 深度卷积神经网络 #

*  卷积神经网络取得显著成功的方面：
    
     *  目标识别
     *  目标检测
     *  目标分割
 *  这主要是因为CNNs具有良好的表示法(或图像特征)
    
     *  另外关键的因素是：计算能力的提高和大的标记数据集，这使我们能够将网络扩展到数千万个参数。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200310185853263.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200310190538209.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200310213831277.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/202003102146200.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70