虚拟数字人/直播/捏脸/3D/metahuman 实时人脸动作捕捉 开发笔记

拍照生成数字人

流程

手机（iphone xr以上）拍照（脸部），导入到unreal+metahuman做数字人

【中文】从0开始捏一个自己的虚拟人，手机扫描到MetaHuman做一个自己的虚拟人_哔哩哔哩_bilibili

涉及APP

iphone xr上安装：宝丽来 

https://apps.apple.com/hk/app/polycam-lidar-3d-scanner/id1532482376?l=en

实时捕捉+输出

流程：手机实时采集脸部信息，数字人脸部同步变化

输入源：iphone 面部捕捉live link

展示源：unreal。MetaHuman高清数字脸+unreal光照

U5 Metahuman 面部捕捉 入门教学视频_哔哩哔哩_bilibili

 

【metahuman&UE】虚幻引擎面捕动捕调研_翙翙Cici的博客-CSDN博客

数字虚拟人metahuman，苹果手机做动作捕捉_疯狂飙车的蜗牛的博客-CSDN博客

平民级数字人up主制作技术教程_meta_ice的博客-CSDN博客

UE5导入自定义MetaHuman虚拟人和服装并联动_病毒宇宇的博客-CSDN博客 

涉及APP

Live Link Face

‎Live Link Face on the App Store

OBS直播+数字人

流程：数字人录制好动作（比如坐，站，愤怒），手机直播的时候（unreal直接输出obs）根据收到的反馈（比如有人进直播间，有人点赞，有人送礼物），实时反馈（websocket）给数字人（数字人在unreal里），数字人根据预先设定的逻辑进行动作

非常全面的数字人解决方案(含源码)_郭泽斌之心的博客-CSDN博客_python 数字人

metahuman 官网 ：快速和容易地创建独特高保真的数字人类的工具

MetaHuman Creator | 虚幻引擎 - Unreal Engine

其他参考

动作捕捉和面部捕捉解决_柯哀的眼的博客-CSDN博客

虚拟人直播-元宇宙离我们有多远？_小盒子的技术分享的博客-CSDN博客

UE4_直播RT输出到OBS教程_旺仔丨牛奶的博客-CSDN博客_obs ue4

使用UE5推流到OBS进行直播_病毒宇宇的博客-CSDN博客