简介

论文链接：https://arxiv.org/abs/2103.10380

微软提出了一种基于 NeRF 的新系统 FastNeRF，用它来渲染逼真图像，在高端消费级 GPU 上达到了惊人的 200FPS，它以每秒数百帧的速度渲染对象的高分辨率真实性新视图。相比之下，NeRF 等现有方法在速度上要慢几个数量级，并且只能以交互速率渲染分辨率很低的图像

FastNeRF 的提出受到了移动和混合现实设备上场景的启发，并且是第一个基于 NeRF、能够在高端消费级 GPU 上以 200Hz 渲染高真实感图像的系统（如上图右）。该方法的核心思想是图启发的分解，它允许：在空间中的每个位置紧凑地缓存一个深度辐射图；使用光线方向有效地查询该图以估计渲染图像中的像素值。

大量的实验表明，在运行速度上，FastNeRF 是原始 NeRF 算法的 3000 倍，比加速版 NeRF 至少快一个数量级，同时又保持了视觉质量和可扩展性

创新点

• 第一个基于NeRF的系统，能够以200FPS的速度呈现逼真的新视图，比NeRF快数千倍
• 一种受图形启发的因子分解，可以紧凑地缓存并随后查询以计算渲染图像中的像素值
• 一个详细介绍了所拟议的因式分解如何在GPU上有效运行的蓝图

实现流程

网络架构

将NeRF分解为两个神经网络：一个产生深度辐射图的位置依赖网络和一个产生权重的方向依赖网络。权重和深辐射图的内积估计了场景中在指定位置和从指定方向看到的颜色

8层和4层MLPs对FastNeRF的Fpos和Fview
8层MLP有384个隐藏单元，使用128个隐藏单元用于4层视图预测网络
将视图方向参数化为一个三维单位向量。其他训练时间特性和设置包括粗/细网络和样本计数N遵循原始NeRF工作

传统的计算机图形学中，渲染方程是一个形式的积分

Lo(p, d)是d方向离开点p的辐亮度
fr(p, d， ωi)是捕获p位置材料特性的反射率函数
Li(p, p， ωi)描述从方向ωi到达p的光量
n对应p点表面法线的方向
计算渲染方程的一种有效方法是利用球面谐波近似fr(p, d， ωi)和Li(p， ωi)
积分的计算归结为两个球面谐波近似系数之间的点积

类似于使用球面谐波来评估渲染方程，位置相关的Fpos和方向相关的Fdir函数产生的输出使用点积来获得从方向d观察到的位置p的颜色值，这种分解将一个在R5中输入的函数分割成两个在R3和R2中输入的函数

u, v, w是D维向量，形成深度辐亮度图，描述p位置视相关的辐亮度，β是深度辐亮度图D分量的D维权重向量，颜色是权重和深度亮度图的内积

缓存

定义一个包围框V，它覆盖了被NeRF捕获的整个场景，可以在v的边界内对3个世界空间坐标(x, y, z) = p中的每一个k值统一采样。类似地，我们对每一个射线方向坐标(θ， φ) = d (θ∈< 0，π >和φ∈< 0,2 π >)的l值统一采样，对采样后的p和d的每个组合计算F来生成缓存

对于k = l = 1024且密集存储16位浮点值的标准NeRF模型，这种缓存的大小大约为5600 tb

当k = l = 1024, D = 8时，FastNeRF保存{σ， (u, v, w))}和β的两个密集缓存的大小约为54 GB

效果