OCID-Ref: A 3D Robotic Dataset with Embodied Language for Clutter Scene Grounding——论文阅读笔记

原文链接

摘要

为了在工作环境中有效地应用机器人并协助人类，开发和评估视觉接地 (VG) 如何影响被遮挡物体上的机器性能至关重要。然而，当前的 VG 工作仅限于工作环境，例如办公室和仓库，由于空间利用问题，对象通常被遮挡。在我们的工作中，我们提出了一个新颖的 OCID-Ref 数据集，该数据集具有一个引用表达式分割任务和被遮挡对象的引用表达式。OCID-Ref 由来自 2,300 个场景的 305,694 个引用表达式组成，并提供 RGB 图像和点云输入。为了解决具有挑战性的遮挡问题，我们认为利用 2D 和 3D 信号来解决具有挑战性的遮挡问题至关重要。我们的实验结果证明了聚合 2D 和 3D 信号的有效性，但对于现代视觉接地系统而言，提及被遮挡的物体仍然具有挑战性。OCID-Ref 项目开源地址

1、论文试图解决什么问题？

• 视觉任务中的目标遮挡问题

2、论文中提到的解决方案之关键是什么？

• 融合 2D(RGB) 与 3D(点云) 特征

3、 用于定量评估的数据集是什么？代码有没有开源？

• OCID-Ref 数据集
• 代码地址： https://github.com/lluma/OCID-Ref

4、这篇论文到底有什么贡献？

1. OCID-Ref 数据集
2. 提出了利用 2D 和 3D 信号的方法，解决目标遮挡识别问题，为 VG 的研究和应用开辟一条新的道路

5、下一步呢？有什么工作可以继续深入？

• xxxx???