市面上众多AI主播产品主要基于已有人物造型,例如3D动漫,真实人物,二次元角色等。他们常用的方法是模拟口型。这种方式存在一个问题,那就是尽管使用虚拟数字人避免了肖像权问题,却可能涉及软件著作权。目前的解决方式大多是购买会员或免费试用,但可能会出现问题。相较之下,用自身形象创建AI数字人模型则更加稳妥。
自身形象创建AI数字人的推荐做法是使用大量口播视频进行训练。这是因为官方提供的预训练模型大多基于英语训练,可能导致生成的数字人口型不准确。想要自我训练,就需要准备一定数量的口播短视频和对应的修正字幕文档。如果硬件条件有限,使用预训练模型也可行,只是不建议过于深入探究这个问题。
通过模型,可以自动匹配图片和视频的口型,制作个人的AI主播。此为之前分享到朋友圈的一个示例。图片训练尚可应付,但视频处理则需要更强大的图形处理器资源,8GB显存只是入门级配置。