点云配准网络 PCRNet: Point Cloud Registration Network using PointNet Encoding 2019

- 日理万妓 2022-10-11 13:36 565阅读 0赞

本文使用PointNet对点云提取全局特征，不需要计算点云之间的一一对应关系，因此能够实现快速的点云配准。

PCRNet根本没有用到局部特征，因此在速度上有优势，精度上会有所妥协。加入了局部特征信息的模型应该会有更高的精度。

PCRNet 的另一特点是其迭代版本鲁棒性很强，可以对类内不同实例进行鲁棒的配准，其他配准方法不行，还是只使用了全局特征的原因。

模型整体结构简单，可以快速上手。

## PCRNet ##

![在这里插入图片描述][fb769f2c30ff3d83de9096078dad35c1.png]

1.  输入为template点云和source点云，首先使用一个5层的MLP对输入的点云进行处理，然后经过最大池化层。最大池化层的降采样操作可以使得网络对输入点的顺序保持不变性。
2.  然后使用PointNet提取点云信息的全局特征，即图中的函数\\Phi()Φ()。
3.  将两个全局特征进行连接，然后使用5层的全连接网路对相对位姿进行预测。  
    这里输出的格式是将平移量和旋转量合并在一起同时输出的，即7个数据，前三个是平移量，后面4个经过归一化得到单位四元数。

可以看出，PCRNet相比于其他点云配准方法结构更加简单，由于是非迭代的single-pass结构，其速度也非常快。

如果将模型里面的FC网络换成是传统的LK算法，模型就与PointNetLK非常相似了（都是使用MLP和池化层对点云进行处理，然后进行相对位姿预测）

## Iterative PCRNet ##

由于PCRNet的简单高效，将其反复进行配准就可以得到迭代式的配准模型。  
得益于迭代方式更加精确，为了提高迭代的效率，作者将PCRNet中的5层FC改成了3层  
![在这里插入图片描述][01fc8a0f3dc2e955ed91f5f341836212.png]

计算最终的相对位姿变换就是将迭代过程中的变换矩阵累乘：  
\\mathbf\{T\}=\\mathbf\{T\}(n) \\times \\mathbf\{T\}(n-1) \\times \\cdots \\times \\mathbf\{T\}(1)T=T(n)×T(n−1)×⋯×T(1)

\#\#损失函数：  
两个网络的损失函数是一样的，使用了Earth Mover’s Distance（搬土距离）。  
通过实验发现其效果优于pose loss，以及Frobenius norm。  
\\operatorname\{EMD\}\\left(\\mathbf\{P\}\_\{S\}^\{\\mathrm\{est\}\}, \\mathbf\{P\}\_\{T\}\\right)=\\min \_\{\\psi: \\mathbf\{P\}\_\{S\}^\{\\mathrm\{est\}\} \\rightarrow \\mathbf\{P\}\_\{T\}\} \\frac\{1\}\{\\left|\\mathbf\{P\}\_\{S\}^\{\\mathrm\{est\}\}\\right|\} \\sum\_\{x \\in \\mathbf\{P\}\_\{S\}^\{\\mathrm\{est\}\}\}\\|x-\\psi(x)\\|\_\{2\}EMD(PSest,PT)=ψ:PSest→PTmin∣PSest∣1x∈PSest∑∥x−ψ(x)∥2  
其中P\_\{S\}^\{est\}PSest是将source点云根据预测的转移矩阵变换后的点云，理想情况下应当与Template点云P\_TPT重合。

## 实验评估：ModelNet40 ##

![在这里插入图片描述][40be6f1d406da8e92ccc24869afbdaa6.png]

*  迭代版本的PCRNet利用对象的特殊性能够产生精确的结果。
 *  PCRNet计算速度很快，但在精确度上有点妥协。
 *  PointNetLK表现出良好的泛化性，但对于噪音鲁棒性不够.
 *  ICP对于大型点云来说对象形状不可知且速度较慢
 *  Go-ICP的计算成本很高速度慢。

使用AUC作为评估指标：AUC是对配准成功的一种度量，因此AUC的值越高，网络的性能越好。

实验一 泛化性/特异性

在未见类别上进行测试（泛化性测试）：

*  ICP ：0.802,
 *  iterative PCRNet：0.682
 *  PointNetLK ：0.998.

在训练数据集上进行测试（特异性测试）：

*  ICP ：0.862
 *  iterative PCRNet：0.972
 *  PointNetLK ：0.998
 *  PCRNet：0.998  
    结果说明当与对象的特定信息一起训练时，PCRNet 和迭代PCRNet的精度提升更大（相比ICP）  
    PointnetLK相比PCRNet有更好的泛化性，且与ICP相比精度更高。作者认为这是因为PointNetLK只需要学习点云特征表示，而PCRNet需要学习整个配准任务，网络的学习容量限制了性能。

噪声鲁棒性

![在这里插入图片描述][e0e410f263c17a130130f02b17f66c75.png]

![在这里插入图片描述][2230f07dd479af6690ab11e97cfd07cd.png]

![在这里插入图片描述][dfe990457bba19405c12409ad0fe598a.png]

PCRNet的鲁棒性很好

速度

![在这里插入图片描述][26d0a2073e38e480468d3593ac1d5bf6.png]

模型替换实验

作者使用pointNet中的语义分割网络对真实点云数据进行分割，然后拿出其中属于的椅子的点云，使用迭代PCRNet将模型库中的椅子点云与其进行配准，然后把原来的点云替换为模型点云：  
![在这里插入图片描述][d63675000c1c7582ef4e3eaa2eea940a.png]

Go-ICP 和ICP的结果差不多所以加入了新的对比方法MIP。  
中间两个方法都失败了，只有迭代PCRNet配准成功了  
这是因为ICP，Go-ICP和MIP要求模板和源必须是同一对象，并且同一类别的对象之间的任何变化都可能导致配准失败；  
而迭代PCRNet对于相同类别模型中的形状变化具有鲁棒性，因此可以产生更好的结果

[fb769f2c30ff3d83de9096078dad35c1.png]: /images/20221005/67d5eb83248940c3b4e6c4ea31c3b108.png
[01fc8a0f3dc2e955ed91f5f341836212.png]: /images/20221005/46b81fabc02a4171a1e1aaa43d1f8c8d.png
[40be6f1d406da8e92ccc24869afbdaa6.png]: /images/20221005/dd59c0077d8b4f13a6901b933e705bd2.png
[e0e410f263c17a130130f02b17f66c75.png]: /images/20221005/9f8d562298c6498f93edf706c1613f87.png
[2230f07dd479af6690ab11e97cfd07cd.png]: /images/20221005/8918fdaa3d2246b493366dce1913ece9.png
[dfe990457bba19405c12409ad0fe598a.png]: /images/20221005/59bb8952616042ffbcdb84e97dbdb72d.png
[26d0a2073e38e480468d3593ac1d5bf6.png]: /images/20221005/9dc5dc2766a54cbab2bcc3efc0b3fe8a.png
[d63675000c1c7582ef4e3eaa2eea940a.png]: /images/20221005/07ecb79070b14c288feaaaca4a59fd76.png