用于 3D 点云形状分析的多视图Vision-to-Geometry知识迁移

作者丨HT

编辑丨3D视觉工坊

论文标题：Multi-View Vision-to-Geometry Knowledge Transfer for 3D Point Cloud Shape Analysis

作者：Qijian Zhang, Junhui Hou, Yue Qian

论文链接：https://arxiv.org/abs/2207.03128

论文日期：2022年7月7日

整理：HT

摘要

作为 3D 对象的两种基本表示方式，2D 多视图图像和 3D 点云从视觉外观和几何结构的不同方面反映了形状信息。与基于深度学习的 2D 多视图图像建模不同，2D 多视图已经在各种 3D 形状分析任务中表现出领先的性能，而基于 3D 点云的几何建模仍然存在学习能力不足等问题。在本文中，我们创新性地构建了一个跨模态知识迁移的统一架构，将 2D 图像中具有判别性的视觉描述符蒸馏成为 3D 点云的几何描述符。从技术上讲，在经典的 teacher-student学习范式下，我们提出了多视图 vision-to-geometry 蒸馏，由作为teacher的深度 2D 图像encoder和作为 student的深度 3D 点云encoder组成。为了实现异构特征的对齐，我们进一步提出了可见性感知的特征投影，通过它可以将各点 embeddings 聚合成多视图几何描述符。对 3D 形状分类、部件分割和无监督学习进行了广泛实验，验证了我们方法的优越性。我们将会公开代