Local Light Field Fusion CVPR 2019

蓝色
紫色
红色

Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines

Author From:

Abstract

本文提出了一个实用和强大的深度学习解决方案，用于捕捉和渲染复杂的现实世界场景的新视点，以进行虚拟探索。以前的方法要么需要难以解决的 密集视图采样 ，要么对用户 如何对场景的视图进行采样 以可靠地呈现高质量的新视图几乎没有提供任何指导。相反，本文提出了一种从 不规则网格采样 的视图合成算法，该算法首先通过 多平面图像（MPI）场景表示 将每个采样的视图扩展成一个 局部光场，然后通过 混合相邻的局部光场 渲染新的视图。本文扩展了传统的 全光采样理论，得出了一个界限，准确地规定了用户在使用本文算法时应该对一个给定场景的视图进行 何种密集的采样。在实践中，本文应用这个约束来捕捉和渲染真实世界场景的视图，在使用多达4000倍的视图时达到奈奎斯特率视图采样的感知质量。本文用一个增强现实的智能手机应用来证明本文方法的实用性，该应用引导用户捕捉场景的输入图像，并在电脑和移动平台上实现实时虚拟探索。

Contributions

• 对全光采样理论的扩展，直接规定了用户应该如何对输入图像进行采样，以便用本文方法进行可靠的高质量视图合成。
• 为虚拟探索捕捉和渲染复杂的真实世界场景提供了一个实用和强大的解决方案。
• 证明了本文精心设计的使用局部分层的场景表示的深度学习综合解决方案实现了最先进的视图合成结果。