【3D人脸】AI Mesh 数据工程调研

业内的数据来源

synthetic data（合成数据）

[2021，微软] Fake It Till You Make It: Face analysis in the wild using synthetic data alone（对数字人渲染，从真实标签render出假图。开源的假图只给了70个2d点，不给模型）

[2022，微软] 3D face reconstruction with dense landmarks（直接完全沿用了自家2021的数据，没有任何改进，不给模型）

pseudo-labels made with model-fitting （纯3dmm）

[2020，帝国理工] RetinaFace: Single-shot Multi-level Face Localisation in the Wild（将68个面部坐标点转换成三维坐标，并据此得出3DMM参数，进而重建了包含53个顶点的稠密1k顶点三维网格。开源了但不给点）

[2018，上交/云从] Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network（没细看）

[2015，中科院] Face alignment across large poses: A 3d solution（没细看）

semi-automatic refined data（半3dmm半手动）

[2016，CMU] Dense 3D face alignment from 2D videos in real-time（没细看）

[2019，谷歌] Real-time facial surface geometry from monocular video on mobile GPUs（3w张真实人脸，用3DMM去fit出假标签，之后数据迭代清洗自循环：模型洗出脏数据，手动微调x和y，更干净的数据再反哺给模型，全程z不洗）

[2020，谷歌] AttentionMesh（直接完全沿用了自家2019的数据，没有任何改进。给了轻量tflite）

open-source model（开源模型刷）

[2019，谷歌] Real-time facial surface geometry 只开源了轻量tflite模型，在保证对齐输出的情况下逆向完，发现效果不佳。

[2020，谷歌] AttentionMesh 只开源了轻量tflite模型，小角度下的demo效果不错，贴合较佳；大角度下的效果拉垮：

方案建议

• 不推荐自研，成本极大，收益遥遥无期且充满不确定性。