OccuSeg: Occupancy-aware 3D Instance Segmentation

图 1. 给定输入的彩色点云，对每个体素的占用大小进行回归，从而预测其所属实例占用的体素数量。自适应聚类方案同时考虑占用信息和嵌入距离，进一步应用于3D实例分割。

Abstract

如今，3D实例分割在机器人技术和增强现实中具有多种应用，需求量很大。与作为环境投影观察的2D图像不同，3D模型提供场景的度量重建，没有遮挡或尺度模糊。在本文中，我们将“3D occupancy size”定义为每个实例占用的体素数量。它具有预测鲁棒性的优点，在此基础上，OccuSeg提出了一种占用感知的3D实例分割方案。我们的多任务学习产生占用信号和嵌入表示，其中空间和特征嵌入的训练随着它们在尺度感知方面的差异而变化。我们的聚类方案受益于预测占用大小和集群占用大小之间的可靠比较，这鼓励了困难样本正确聚类并避免过度分割。所提出的方法在3个真实世界数据集（即ScanNetV2、S3DIS和SceneNN）上实现了最先进的性能，同时保持了高效率。

1. Introduction

过去十年见证了实时3D重建技术的快速发展[31、32、5、45、14]，随着Kinect、Xtion等商用RGB-D深度传感器的普及。鉴于重建场景，有对3D环境的实例级语义理解越来越关注。更具体地说，3D实例分割旨在识别属于同一目标的点并同时推断其语义类别，这是移动机器人以及增强/虚拟现实应用程序的基本技术。

尽管最近随着深度学习技术的发展，对2D图像的场景理解取得了重大进展，但3D数据