JSIS3D：具有多任务点状网络和多值条件随机场的3D点云的联合语义实例分割

论文题目：JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields

论文链接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Pham_JSIS3D_Joint_Semantic-Instance_Segmentation_of_3D_Point_Clouds_With_Multi-Task_CVPR_2019_paper.pdf

Abstract

深度学习技术已成为大多数与2D图像相关的视觉任务的模型。然而，它们的威力在3D空间中的几个任务上还没有完全发挥出来，例如3D场景理解。在这项工作中，我们共同解决了3D点云的语义和实例分割问题。具体来说，我们开发了一个多任务逐点网络，它同时执行两个任务：预测3D点的语义类并将点嵌入到高维向量中，以便同一目标实例的点由相似的嵌入表示。然后，我们提出了一个多值条件随机场模型，将语义和实例标签结合起来，并将语义和实例分割问题表述为场模型中的联合优化标签。所提出的方法在包括S3DIS和SceneNN在内的不同室内场景数据集上与现有方法进行了彻底的评估和比较。实验结果表明所提出的联合语义实例分割方案在其单个组件上的鲁棒性。我们的方法在语义分割方面也取得了最先进的性能。

1. Introduction

低成本3D传感器（例如Kinect）和光场相机的日益普及开启了许多基于3D的应用，例如自动驾驶、机器人技术、基于移动的导航、虚拟现实和3