点云数据处理（分类、分割、检测）PointNet

古城微笑少年丶 2022-09-02 04:07 357阅读 0赞

开山之作-PointNet  
1 点云数据处理共性问题  
1.1 点云数据的无序性  
1.2 点云数据的旋转性与平移性  
2 PointNet  
2.1 针对无序性  
2.2 针对旋转性和平移性  
3 总结  
1 点云数据处理共性问题  
传统深度学习模式（处理二维图像数据），使用序列化的卷积核处理序列化的二维图像数据，但点云是一种不规则数据，在空间上和数量上可以任意分布，因此传统的深度学习模式无法处理点云数据。

1.1 点云数据的无序性  
在将实景保存为点云数据时（以pcd为例），是一行存储一个点的xyz信息，如果放大到多行点云数据来看，将某几行数据进行交换，它实际表达的仍然是同一片点云（xyz信息没变），只是在保存为点云数据时人为的加入了顺序（这是不可避免的）。对比二维图像数据，当交换它的某些点（即xy发生变化）它一定会代表另一种图案，所以这是传统深度学习模式无法处理点云数据的最大的障碍！

![20190925103927975.png_pic_center][]

1.2 点云数据的旋转性与平移性  
基于不同的视角所观察到的事物的样子是不相同的，例如这一片点云代表一辆车，传感器刚好倒放收集了点云数据，或者观察视角进行平移点云数据xyz信息都发生了变化。如何处理这样xyz信息有大量变化但所表达的信息不变（仍然是一辆车）的数据是传统深度学习模式无法解决的。

2 PointNet  
PointNet作为利用深度学习方式处理点云数据的开山之作，成功的处理了点云数据，并进行分类、分割。

2.1 针对无序性  
PointNet利用h-g-y的结构解决了点云数据无序性的问题：首先通过MLP提取特征，再通过max筛选最具代表性的特征，最后通过MLP消化筛选的特征。我个人的理解是不论点云的位置如何变化，通过maxpooling筛选出的最大值永远不会变，所以比较好的解决了点云数据的无序性问题。

![20190926165002502.png_pic_center][]  
2.2 针对旋转性和平移性  
空间中物体的旋转和平移可以通过矩阵运算来解决（R、t），而深度学习本质上也是矩阵的运算，PointNet在网络加入两个T-Net，让网络自主学习如何调整位姿以得到更好的输出结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMDQ5NDMy_size_16_color_FFFFFF_t_70_pic_center][]

3 总结  
PointNet是用点云数据进行深度学习的开山之作，所提出的使用maxpool解决点云无序性更是成为之后所有神经网络优先考虑的模块。  
但PointNet仍然有很大的局限性，PointNet在通过maxpool将所有特征进行筛选的时候，没有局部概念，很难对精细的特征做学习，在分割上有很大的局限性；没有了局部概念在平移不变性也有局限性，例如在处理场景点云数据时，场景内包含多个物体，T-Net很难用一个标准去同一所有的物体。  
————————————————  
版权声明：本文为CSDN博主「袋袋成仙」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/qq\_43049432/article/details/101349184

[20190925103927975.png_pic_center]: /images/20220829/3431cbab81204a37a35725961ee56ca9.png
[20190926165002502.png_pic_center]: /images/20220829/c64683c215c9466b9b7c7c689dcb88a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMDQ5NDMy_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/71f3c931449540e3991df423bff518ad.png