与以规则密集网格表示的图像不同,3D点云是不规则且无序的,因此对它们应用卷积可能很困难。在本文中,我们将动态滤波器扩展到一个新的卷积操作,名为PointConv。 PointConv可以应用于点云来构建深度卷积网络。我们将卷积核视为由权重和密度函数组成的 3D点的局部坐标的非线性函数。对于给定的点,权函数通过多层感知器网络和密度函数通过核密度估计来学习。这项工作最重要的贡献是提出了一种用于有效计算权重函数的新公式,它使我们能够显着扩展网络并显着提高其性能。学习到的卷积核可用于计算3D空间中任何点集上的平移不变和排列不变卷积。此外,PointConv还可以用作反卷积算子,将二次采样点云中的特征传播回其原始分辨率。在ModelNet40、ShapeNet和ScanNet上的实验表明,基于PointConv的深度卷积神经网络能够在3D点云上具有挑战性的语义分割基准上实现最先进的水平。此外,我们将CIFAR-10转换为点云的实验表明,基于PointConv构建的网络可以在类似结构的2D图像中匹配卷积网络的性能。
在最近的机器人、自动驾驶和虚拟/增强现实应用中,可以直接获取3D数据的传感器越来越普遍。这包括激光扫描仪等室内传感器、Kinect、RealSense或Google Tango等飞行时间传感器、iPhoneX上的结构光传感器以及LIDAR和MEMS传感器等室外传感器。直接测量3D数据在这些应用中是非常宝贵的,因为深度信息可以消除2D图像中的大量分割模糊性,并且表面法线提供了场景几何的重要线索。
在2D图像中,卷积神经网络(CNN)通过极大地改善几乎所有视觉任务的结果,从根本上改变了计算机视觉的格局。 CNN通过利用平移不变性取得成功,因此可以将同一组卷积滤波器应用于图像中的所有位置,从而减少