[ICCV-23] DeformToon3D: Deformable Neural Radiance Fields for 3D Toonification

pdf | code

• 将3D人脸风格化问题拆分为几何风格化与纹理风格化。
• 提出StyleField，学习以风格/ID为控制信号的几何形变残差，实现几何风格化。通过对超分网络引入AdaIN，实现纹理风格化。
• 由于没有修改3D GAN空间，因此可以便捷实现Editing和Animation。

目录

摘要

方法

Geometry Toonification with StyleField

Texture Transfer with Adaptive Style Mixing

Training

实验

实验设置

Comparisons with Baselines

Applications

Inversion and Editing

Animatable Toonification

Toonification Style Control

---

摘要

• 3D人脸风格化；
• 3D GAN直接在艺术域（artistic domain）上fine-tuning，效果不错。但存在两个问题：1）会破坏3D GAN原有的隐空间，影响后续的语义编辑；2） 每种新风格需要额外训练，限制了部署。
• 为了解决上述两个问题，本文提出DeformToon3D。本文方法将3D卡通化（toonification）问题，分解为几何与纹理风格化。
• 本文提出StyleField，预测条件控制的3D形变（conditional 3D deformation），实现几何风格化；通过3D GAN的decoder实现纹理风格化。

方法

• DeformToon3D是一个堆叠模型 G = G1 o G0，其中G1是3D生成器，G2是2D超分解码器。G0输入instance code 和相机位姿，和体渲染输出为中间特征图。G1将超分得到高分辨率图片。
• 在考虑3D人脸卡通化时，现有方法将G视作一个整体进行fine-tune。DeformToon3D用StyleField作为几何风格化，fine-tune体渲染器实现纹理风格化。

Geometry Toonification with StyleField

直接用跨域数据fine-tune G0，计算开销大且会破坏GAN的隐空间。

假设风格化NeRF是，真实域NeRF是。本文冻结G0参数，并提出StyleField模块学习到的映射关系。

具体来说，假设中的任意3维点，StyleField学习到中的映射关系：

其中，是StyleField，受style code 和instance code 控制，前者决定风格，后者决定3D face的ID。

由4层SIREN组成，支持多种风格变换。相较于直接fine-tune G0，优化参数量减少了50%，同时还保留了3D GAN原有隐空间。在10种风格情况下，相较每种风格fine-tune一个G0，节省了98.5%的存储空间。

Texture Transfer with Adaptive Style Mixing

G0和StyleField实现了风格的几何变换。在此基础上，本文在超分网络G1实现风格的纹理变换。

G1是2D style-based architecture。本文通过AdaIN来逐步调整图片风格。

受style mixing启发，通过混合G1网络参数和目标风格，实现纹理信息的注入。

本文同时添加了一个轻量级MLP ，输入为、和w，调整风格强度。

Training

本文通过DualStyleGAN产生2D风格图像；

训练中，使用LPIPS loss作为重建损失；使用smoothness，确保是物理平滑的；同时，使用了GAN的对抗训练损失。

实验

实验设置

• Datasets：测试了10种风格：Pixar, Comic, Slam Dunk, The Croods, Fiona (Shrek), Rapunzel (Disney Princess), Hiccup Horrendous Haddock III (How To Train Your Dragon), and three different carica-ture styles；在CelebA-HQ上测试；
• Model：使用在FFHQ上预训练的StyleSDF作为3D GAN；
• Training：在8张V100上训练了24小时，bs=16；
• Baselines：和CIPS-3D、E3DGE、StyleGAN-NADA进行比较

Comparisons with Baselines

 

Applications

Inversion and Editing

使用E3DGE实现3D GAN inversion

Animatable Toonification

学习3DMM参数和3D GAN隐空间的双向映射关系。通过驱动视频拿到3DMM参数的变化，并映射回3D GAN中

Toonification Style Control