InFusion：通过从扩散先验学习深度补全来进行图像 3D 高斯修复

InFusion 以其图像条件模型超越了当前的方法，提供精确的深度修复并支持纹理定制和对象插入等高级应用程序。

github项目页面： Infusion

Github 仓库：GitHub - ali-vilab/Infusion: Official implementations for paper: InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior

夸克网盘「InFusion 3D 高斯深度图像修复」项目文件和论文原文下载链接：
夸克网盘分享

3D 高斯最近作为新颖视图合成的有效表示而出现。这项工作研究了InFusion的可编辑性，特别关注修复任务，旨在通过额外的点来补充不完整的 3D 高斯集，以实现视觉和谐的渲染。

与 2D 修复相比，3D 高斯修复的关键是找出引入点的渲染相关属性，其优化很大程度上受益于它们的初始 3D 位置。为此，我们建议使用图像条件深度补全模型来指导点初始化，该模型学习根据观察到的图像直接恢复深度图。

这样的设计使我们的模型能够以与原始深度对齐的比例填充深度值，并且还可以利用大规模扩散先验的强大概括性。得益于InFusion更准确的深度补全，我们的方法（称为 InFusion）在各种复杂场景下以更好的保真度和效率超越了现有的替代方案。我们通过几个实际应用进一步证明了 InFusion 的有效性，例如使用用户特定的纹理进行修复或新颖的对象插入。