NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos 解读

1. 论文简介

（1）将NeRF和SDF方法结合来更好的回归物体表面（mesh）。

（2）通过在神经辐射场后嵌入可微模拟器，实现动力学参数学习和进行场景编辑。

2. 核心思想

上述论文包含三个模块：

1）Time-invariant information

看作是静态物体建模，相当于动态NeRF中的canonical pose，NeRF在该空间进行渲染，然后通过时间参数预测形变，进行动态物体渲染。

该模块有三个mlp：rigidity mlp用于预测前景背景，这里用该mlp将前景（运动物体）扣出来预测其canonical pose下的重建函数。输入是三维点坐标，输出就是一个数，越大表示该点属于动态物体的概率越大。

color mlp为nerf的颜色mlp，输出c(.)

sdf mlp对应nerf的density mlp，区别是这里用sdf的表达替换掉了nerf体密度的概念，输出为s(.)。

渲染方程如下：

 其中，w是加权权重，可学习。

2）Time-variant information

motion mlp也比较简单，输入有时序特征-latent code，和每个点的三维坐标，输出是一个变化量，

3）仿真模块

这个模块主要是用来进行运动模拟的。

pipeline：

通过marching cube 找到运动物体。

Physics Engine.

采用DiffPD的方法 获得mesh运动参数，可微分，直接引入神经网络训练。

类似匀变速公式：a=x/t^2，F=ma-> t^2 F= m x

h是time step。

参数优化 

思路也很简单，mi+b 得到的canonical坐标，应当和物理模型映射 回去的相同。