Deep Learning-Based Object Pose Estimation:A Comprehensive Survey

论文：https://arxiv.org/pdf/2405.07801v3

项目：https://github.com/CNJianLiu/Awesome-Object-Pose-Estimation

年份：2024

方向：姿态估计

1. 目标姿态估计定义

估计图像中目标相对于相机的姿态， 目标姿态估计是增强现实、机器人操作、手-对象交互等领域的关键技术。根据应用程序的需要，对象姿态被估计到不同的自由度（自由度DoF）。

（1）3DoF：只包括3D旋转的3自由度DoF，即绕着x,y,z旋转；

（2）6DoF：3D旋转，另外再加3D平移，即沿着x,y,z轴方向平移；

（3）9DoF：旋转、平移，其中包括估计对象的3D大小，即物体的三维大小（宽度、高度和深度）。这种估计方式用于需要知道物体完整几何信息的应用。

2. 算法分类

2.1 按照训练数据的特点分类

训练的数据集标注形式分为：实例级、类别级和不可见对象方法。

如下所示，实例级别训练的是平放的红色电转，只可以推理出同是红色电转的姿态（特定的实例）；类别级推理出同一个类别姿态，训练的是红色瓶子，但也可以推理出白色瓶子姿态；未见级可以推理出从未见过的类别目标姿态，训练的是红色电转，却可以推理黄色鸭子姿态。

再往下细分，如下。

3. 多种输入数据模式

包括RGB图像，深度图，RGBD图像。

4. 数据集

4.1 实例级数据

4.2 类别级

在这一部分中，我们将类别级的数据集划分为刚性的和关节对象数据集，以进行详细说明。

4.2.1 刚性对象数据集

4.2.2 关节对象数据集

4.3 未见级

5. 实例级方法

处理的是实例级的标注的数据，可以分为4种方法：基于对应关系的方法、基于模板、基于投票、基于回归方法。

5.1 基于对应关系

建立输入数据和所提供的对象CAD模型之间的对应关系。

一般是先使用dnn提取关键点，再将这些点和CAD模型上的点对应，再利用透视点算法(PnP）或者最小二乘法确定对象姿态。

稀疏关键点：

稠密关键点：

5.2 基于模板 

从一组带有标注对象姿态的模板中识别出最相似的模板。通过利用图像中的全局信息，基于模板的方法可以有效地解决无纹理对象所带来的挑战。

通常，基于模板的方法利用了图像中的全局信息，使它们能够有效地处理无纹理的对象。然而，实现高姿态估计精度可能导致模板增加内存使用和计算复杂度的快速上升。此外，当面对被遮挡的物体时，它们也可能表现出较差的表现。

（1）当输入是一个RGB图像时，模板包括从对象CAD模型中提取的二维投影，并包含姿态的标注。这个过程将目标位姿估计转换为图像检索。

（2）当输入数据是点云时，将直接回归模板对象CAD模型（规范姿态）和观测点云之间的相对姿态的方法分类为基于模板的方法。这是因为这些方法可以被解释为寻找将观测到的点云与模板对齐的最佳相对姿态。

RGB图像：

点云数据：

5.3 基于投票 

基于投票的方法通过像素级或点级投票方案来确定对象的姿态，可分为间接投票和直接投票两大类。

总的来说，基于间接投票的方法为实例级的对象姿态估计提供了一个很好的解决方案。然而，姿态估计的准确性在很大程度上依赖于关键点的质量，这可能导致较低的鲁棒性。

总的来说，基于投票的方法在姿态估计任务中表现出了优越的性能。然而，投票过程是耗时的，并增加了计算复杂度。

输入数据是RGB图像或者深度图，间接投票：

输入数据是RGB图像和者深度图，直接投票：

5.4 基于回归

基于回归的方法旨在直接从学习到的特征中获得物体的姿态。它们可以分为两种主要类型：几何导向回归和直接回归。

（1）几何学引导的回归方法利用来自RGBD图像的几何信息（如物体3D结构特征或2D-3D几何约束）来帮助物体姿态估计。几何引导的回归方法通常需要额外的处理步骤来提取和处理几何信息，这增加了计算成本和复杂性。

（2）接回归方法利用RGBD图像信息，直接回归对象姿态。直接回归方法的目的是直接从RGBD图像中恢复对象姿态，而无需额外的变换步骤，从而降低复杂性。

几何导向回归:

直接回归：

直接回归方法是最简单、高效，且最直接的目标姿态估计方法。

总体而言，直接回归方法简化了对象姿态估计过程，进一步提高了实例级方法的性能。然而，实例级的方法只能估计训练数据中的特定对象实例，将它们泛化到不可见的对象。此外，大多数实例级的方法都需要精确的对象CAD模型，这是一个挑战，特别是对于具有复杂形状和纹理的对象。

6. 类别级

对类别级方法的研究获得的关注度更高，因为它们可以推广到既定类别内的未见对象。作者将类别级方法划分为基于形状先验的方法，形状先验不限的方法。

6.1 形状先验

基于形状先验的方法首先利用离线模式下的类内可见物体的CAD模型来学习神经网络，推导出形状先验，然后将它们作为三维几何先验信息来指导类内不可见的物体姿态估计。在这一部分中，我们将基于形状的方法再细分为两类。

6.1.1 NOCS形状对齐

第一类是归一化对象坐标空间（NOCS）形状对齐方法。他们首先预测NOCS的形状/地图，然后使用离线姿态求解方法将目标点云与预测的NOCS形状/地图对齐，以获得目标姿态。

一般来说，虽然这些NOCS形状对齐方法可以恢复对象的姿态，但对齐过程是不可微的，不能集成到学习过程中。因此，预测NOCS形状/图的误差对位姿估计的精度有显著影响。 

6.1.2 位姿回归

另一类是位姿回归方法。它们直接从特征层次回归物体姿态。

不同于NOCS形状对齐过程的不可微性质，基于直接回归的位姿方法来实现端到端训练，整个过程是可微的。 

6.2 无形状先验方法

无形状先验的方法不依赖于使用形状先验，因此具有更好的泛化能力。这些方法可分为三大类：深度导向几何感知、RGBD引导的语义和几何融合、和其他方法。

6.2.1 深度导向几何感知

一般来说，这些方法可以充分提取与姿态相关的几何特征。然而，语义信息的缺失限制了它们更好的性能。适当的语义信息和几何信息的融合可以显著提高姿态估计的鲁棒性。

6.2.2 RGBD引导的语义和几何融合

总的来说，这些RGBD引导的语义和几何融合方法取得了优越的性能。但是，如果输入的深度图像存在误差，则姿态估计的精度就会显著降低。因此，在处理错误或缺失的深度图像时，确保姿态估计的鲁棒性是至关重要的。

总体而言，这些无形状先验方法规避了对形状先验的依赖，进一步提高了类别级对象姿态估计方法的泛化能力。然而，这些方法仅限于在类内看不见的对象中进行泛化。对于不同类别的对象，需要收集训练数据，而模型需要进行再训练，这仍然是一个很大的限制。

7. 未见级

此类方法可以细分为：基于CAD模型、基于手动参考视图的方法。

7.1 基于CAD模型

基于CAD模型的方法在估计一个未见物体的姿态的过程中，会利用目标CAD模型作为我们的先验知识。这些方法可以进一步分为基于特征匹配的方法和基于模板匹配的方法。

7.1.1 基于特征匹配

基于特征匹配的方法重点设计CAD模型与查询图像之间特征匹配的网络，建立2D-3D或3D-3D对应关系，采用PnP算法或最小二乘法求解姿态。

综上所述，基于特征匹配的方法旨在提取一般的与对象不可知的特征，并通过对这些特征进行匹配来实现较强的对应关系。然而，这些方法不仅需要鲁棒的特征匹配模型，而且还需要定制设计来增强对象特征的表示，这是一个巨大的挑战。 

7.1.2 基于模板匹配

利用CAD模型中的渲染模板进行检索。初始姿态是基于最相似的模板，需要进一步细化以获得更精确的姿态。

综上所述，基于模板匹配的方法充分利用了大量模板的优势，具有较高精度和强泛化性。尽管如此，它们在时间消耗、对遮挡的敏感性以及复杂的背景和照明变化所带来的挑战方面都有局限性。

无论是上述基于特征匹配的方法还是基于模板匹配的方法，它们都需要一个目标对象的CAD模型来提供先验信息。在实践中，精确的CAD模型往往需要专门的硬件来构建，这在一定程度上限制了这些方法的实际应用。

7.2 基于手动参考视图

需要为目标对象提供一些手动标记的参考视图。与基于CAD模型的方法类似，这些方法也被分为两种类型：基于特征匹配和基于模板匹配的方法。

7.2.1 基于特征匹配

主要是建立RGBD查询图像与RGBD参考图像之间的3D-3D对应，或建立查询图像与参考视图重建的稀疏点云之间的2D-3D对应。然后，根据不同的对应关系来求解对象的姿态。

一般来说，由于缺乏来自CAD模型的先验几何信息，基于人工参考视图的特征匹配方法往往需要特殊的设计来提取看不见的物体的几何特征。参考视图的数量也在一定程度上限制了这种方法的实际应用。 

7.2.2 基于模板匹配

基于模板匹配的方法主要采用检索和细化的策略。有两种类型：

（1）一种使用参考视图重建3D对象表示，基于此3D表示呈现多个模板，并使用相似性网络将查询图像与初始姿态的每个模板进行比较。然后使用一个精炼器来细化这个初始姿态，以提高精度；

（2）另一种直接使用参考视图作为模板，需要大量的视图进行检索，并更依赖于细化器来提高准确性。

总之，类似于使用CAD模型的基于模板匹配的方法，基于手动参考视图的方法也依赖于大量的模板。此外，由于有限的参考视图，这些方法需要生成新的模板或使用额外的策略来优化通过模板匹配获得的初始姿态。