SLAM_轨迹算法精度评价指标（ATE、RPE）

快来打我* 2022-11-12 01:39 644阅读 0赞

**目录**

1. 前言

2. 相对位姿误差 (Relative Pose Error, RPE)

3. 绝对轨迹误差 (Absolute Trajectory Error, ATE)

4. 工具：EVO

4.1 安装

4.2 usage

1). 轨迹可视化

2). APE

3). RPE

4.3 metrics解析

--------------------

参考：[视觉SLAM基础：算法精度评价指标（ATE、RPE）][SLAM_ATE_RPE]

# 1. 前言 #

*  当我们需要评估一个SLAM/VO算法的表现时，可以从时耗、复杂度、精度多个角度切入，其中对精度的评价是我们最关注的，这个过程中不可避免会遇到两个精度指标**ATE**和**RPE**。这两个evaluation metrics最早是在TUM数据集benchmark中定义的，应用非常广泛。介绍前，先对定义一下公式中的符号表示：
 *  **估计位姿**： ![20210321192632369.png][]
 *  **真实位姿**： ![20210321192639594.png][]
 *  **下标**：代表时间t（或帧）,这里我们假设估计位姿和真实位姿各帧时间已对齐，总帧数相同
 *  ![20210321192652578.png][] ：表示相隔时间time interval。

# 2. 相对位姿误差 (Relative Pose Error, RPE) #

（对应evo工具中的“evo\_rpe”命令）

相对位姿误差（relative pose error）用于计算相同两个时间戳内的位姿变化量的差， 同样， 在用时间戳对齐之后， 真实位姿和估计位姿均**每隔一段相同时间**计算位姿的变化量， 然后对该变化量做差， 以获得相对位姿误差， 该标准适合于**估计系统的漂移**。

相对位姿误差主要描述的是相隔固定时间差 ![20210321192654997.png][] 两帧位姿差的精度（相比真实位姿），相当于直接测量里程计的误差。

因此第i帧的RPE定义如下：

![20210321192709994.png][]

已知总数n与间隔 ![20210321192700112.png][] 的情况下，可以得到![20210321192719696.png][] 个RPE，然后我们可以用**均方根误差RMSE**统计这个误差，得到一个总体值：

![20210321192731861.png][]

其中 ![20210321192740953.png][] 代表取相对位姿误差中的**平移部分translation**。当然也有人不用RMSE，直接使用平均值、甚至中位数来描述相对误差情况。 需要注意的是，RPE**包含了两部分的误差**，分别是旋转误差和平移误差，通常使用**平移误差**进行评价已经足够，但是如果需要，旋转角的误差也可以使用相同的方法进行统计。 到这一步，我们基本可以从RMSE值的大小来评价算法的表现，然而实际情况中，我们发现对 ![20210321192754890.png][] 的选取有多种选择，为了能综合衡量算法表现，我们可以计算遍历所有 ![20210321192756330.png][] 的**RMSE的平均值**：

![20210321192808399.png][]

但这样新的问题又出现了，这样的计算复杂度非常高，很耗时间，因此**TUM**在自己给定的工具中，通过计算**固定数量的RPE样本**计算一个估计值作为最终结果。

# 3. 绝对轨迹误差 (Absolute Trajectory Error, ATE) #

（对应evo工具中的“evo\_ape”命令）

绝对轨迹误差（absolute trajectory error）\*\*直接计算相机位姿的真实值与SLAM系统的估计值之间的差。程序首先根据位姿的**时间戳**将真实值和估计值进行**对齐**， 然后计算每对位姿之间的差值， 并最终以图表的形式输出， 该标准非常适合于评估视觉 SLAM 系统的性能。

绝对轨迹误差是估计位姿和真实位姿的直接差值，可以非常直观地反应算法精度和**轨迹全局一致性**。需要注意的是，估计位姿和groundtruth通常不在同一坐标系中，因此我们需要先将两者对齐：

*  对于双目SLAM和RGB-D SLAM,**尺度统一**，因此我们需要通过**最小二乘法**计算一个从估计位姿到真实位姿的**转换矩阵** ![20210321192827697.png][] ；
 *  对于单目相机，具有**尺度不确定性**，我们需要计算一个从估计位姿到真实位姿的**相似转换矩阵**![20210321192837341.png][] 。

因此第i帧的ATE定义如下：

![20210321192852362.png][]

与RPE相似，建议使用RMSE统计ATE

![2021032119290884.png][]

当然，使用平均值、中位数等来反应ATE亦可，现在很多evaluation工具会将RMSE、Mean、Median都给出。 综上，我们需要注意的是，RPE误差包含了translation和rotation两部分的误差，而ATE只包含translation的误差（从二者的全称中也可以看出），二者具有强烈的相关性，却也不尽相同。我们仍需结合实际，选择合适的指标进行算法评价。

# 4. 工具：EVO #

这里推荐一个方便全能的evaluation工具。这里贴出github链接：

[EVO:Python package for the evaluation of odometry and SLAM][EVO_Python package for the evaluation of odometry and SLAM]

## 4.1 安装 ##

系统：ubuntu，首先确保系统安装了Python，然后根据需要可以选择性安装**PyQt5 / PyQt4** 和 **ROS**，当然， 不装也不会影响基本功能。

1. 直接从pip安装。

pip install evo --upgrade --no-binary evo

2. 源代码安装

git clone git@github.com:MichaelGrupp/evo.git
    cd evo
    pip install --editable . --upgrade --no-binary evo

3. 输入下面这个命令，如果成功会有响应。

evo_ate -h

![ef6a02850229a25d58efdb717816fe98.png][]

## 4.2 usage ##

可以先用evo仓库中自带的数据尝试

### 1). 轨迹可视化 ###

cd test/data
    evo_traj kitti KITTI_00_ORB.txt KITTI_00_SPTAM.txt --ref=KITTI_00_gt.txt -p --plot_mode=xz

![4a8745045bc2fcd2ff3bcd9508e913ce.png][]

### 2). APE （ATE） ###

evo_ape kitti KITTI_00_gt.txt KITTI_00_ORB.txt -va --plot --plot_mode xz

![c02e42d23c5f7e41945bfd0e81e056c4.png][]

### 3). RPE ###

evo_rpe tum fr2_desk_groundtrutr2_desk_ORB.txt -va --plot --plot_mode xyz

![497a079a1961bd7dcb8befc0385a9ff1.png][]

命令参数较多，每个命令都有比较详细的帮助，多用 --help，如：evo\_ape kitti --help

这里列举了一些常见选项的含义：

![e0e68761726209572b4dc69de7e0eea6.png][]

## 4.3 metrics解析 ##

上文提到pose error包含平移和旋转两部分误差，在evo设置输出误差项对应的option为-r/–pose\_relation，并有如下模式：

![ee6b662970d6bdee9369b598dad8dd87.png][]

其中trans\_part很容易理解，但是无单位的full和rot\_part的误差指标比较特殊，使用了矩阵的二范数：

![20210321192931434.png][]

其中![20210321192940456.png][] 表示groundtruth和estimate位姿之间的变换矩阵， E 为单位阵，这里用了矩阵的范数表示某种抽象的空间距离，从而用来度量误差，因此没有单位（仅供参考，这一块不确定，还行批评指正）。

同理rot\_part的误差：

![20210321192953224.png][]

相比较而言，用平移误差单位为m，旋转误差单位可以是度或弧度，更容易理解。从旋转矩阵 R 到旋转角的转换使用了罗德里格斯公式（旋转向量的二范数为旋转角的大小）。

![20210321193014745.png][]

反推：

![2021032119303519.png][]

这里参考了《SLAM十四讲》中的内容。

#附EVO metric的相关代码
    if self.pose_relation == PoseRelation.translation_part:
        # E is an array of position vectors only in this case
        self.error = [np.linalg.norm(E_i) for E_i in self.E]
    elif self.pose_relation == PoseRelation.rotation_part:
        self.error = np.array([
            np.linalg.norm(lie.so3_from_se3(E_i) - np.eye(3))
            for E_i in self.E])
    elif self.pose_relation == PoseRelation.full_transformation:
        self.error = np.array(
            [np.linalg.norm(E_i - np.eye(4)) for E_i in self.E])
    elif self.pose_relation == PoseRelation.rotation_angle_rad:
        self.error = np.array(
            [abs(lie.so3_log(E_i[:3, :3])) for E_i in self.E])
    elif self.pose_relation == PoseRelation.rotation_angle_deg:
        self.error = np.array([
            abs(lie.so3_log(E_i[:3, :3])) * 180 / np.pi for E_i in self.E
        ])
    else:
        raise MetricsException("unsupported pose_relation")

[SLAM_ATE_RPE]: https://blog.csdn.net/qq_40307605/article/details/104203474
[20210321192632369.png]: /images/20221022/1d36907b65b846e387c500596b82df3c.png
[20210321192639594.png]: /images/20221022/ad47ffa9dc524ab9b695aaf4bbb2552a.png
[20210321192652578.png]: /images/20221022/7fa592185ecf4395822346e6d3f3f50d.png
[20210321192654997.png]: /images/20221022/55db3db2b24144f7ab82e540e1669115.png
[20210321192709994.png]: /images/20221022/585bbca995b64f62ad122f3aab1034f9.png
[20210321192700112.png]: https://img-blog.csdnimg.cn/20210321192700112.png
[20210321192719696.png]: /images/20221022/8a7681dabc4f4529b761bfcfdb04cab9.png
[20210321192731861.png]: /images/20221022/92cd0908e4f54940a1589ac909b5cd29.png
[20210321192740953.png]: https://img-blog.csdnimg.cn/20210321192740953.png
[20210321192754890.png]: https://img-blog.csdnimg.cn/20210321192754890.png
[20210321192756330.png]: /images/20221022/a08e2a9d8ec14b68854913d455059d8f.png
[20210321192808399.png]: /images/20221022/4d6f5a9087514394b9f5c75185ec3ee7.png
[20210321192827697.png]: /images/20221022/66bd446cad5b43648f76bf15f9566b73.png
[20210321192837341.png]: /images/20221022/9a62f8b14ff04421bc9ce0947cfb4c9a.png
[20210321192852362.png]: /images/20221022/086f61926ff34dbe984294e03bcc7efc.png
[2021032119290884.png]: /images/20221022/7f7a1bee42144e98b2060846f8ae5ccd.png
[EVO_Python package for the evaluation of odometry and SLAM]: https://link.zhihu.com/?target=https%3A//github.com/MichaelGrupp/evo
[ef6a02850229a25d58efdb717816fe98.png]: /images/20221022/7053328053b443698c27c28ef63ecb20.png
[4a8745045bc2fcd2ff3bcd9508e913ce.png]: /images/20221022/13d2bcfd02504b0393375ee1078da682.png
[c02e42d23c5f7e41945bfd0e81e056c4.png]: /images/20221022/e6c3589f35124d30ab1ef4857d33defd.png
[497a079a1961bd7dcb8befc0385a9ff1.png]: /images/20221022/f0fbf78837db410c9c1dd217fedcc914.png
[e0e68761726209572b4dc69de7e0eea6.png]: /images/20221022/1c561efc87b245c9a55bdd864bf8c7bf.png
[ee6b662970d6bdee9369b598dad8dd87.png]: /images/20221022/9c40ce3a057c4227a6da6ee66948043d.png
[20210321192931434.png]: /images/20221022/4ad4808c33b04e399fb44c9ed5a2f768.png
[20210321192940456.png]: /images/20221022/832ad55086c44bc89306e8a7aab32f5f.png
[20210321192953224.png]: /images/20221022/050d22ca447c4e5288fe508c3edb2271.png
[20210321193014745.png]: /images/20221022/39338f62065649e4835d97cc3746d689.png
[2021032119303519.png]: /images/20221022/b8a57047121c470093f3724153974222.png