MimicMotion - 一张图片实现视频跳舞，腾讯开源照片跳舞模型 本地一键整合包下载

近期，腾讯联合上海交通大学开源了一个可控视频生成框架：MimicMotion，类似阿里的全民舞王，只需要上传一张照片，然后再上传一段人物的舞蹈或者动作视频，就可以生成以照片中人物为原型的动作或者舞蹈视频了。

MimicMotion 可以根据我们上传的视频生成任意长度的高质量视频。通过渐进式潜融合策略，不管多长的视频都可以使用固定的资源进行生成，理论上多长的视频生成都只是时间问题，不会爆显存了。

并且通过置信度感知姿态引导「这是指在生成视频的过程中，系统会考虑它对于每个动作的确定程度。如果系统对某个动作非常确定，它就会更自信地生成这个动作；如果不太确定，它可能会更谨慎一些。」，让生成的视频更加流畅，过渡更加平滑。

而且基于姿态置信度的区域损失放大显著缓解了图像的失真情况，更好的保证了视频生成的质量。

这个对显卡要求较高，N卡，显存16G起可玩，请先确认自己的显卡是否能运行再下载！

MimicMotion简介

MimicMotion 是由腾讯公司推出的一款人工智能人像动态视频生成框架。该框架利用先进的技术，能够根据用户提供的单个参考图像和一系列要模仿的姿势，生成高质量、姿势引导的人类动作视频。MimicMotion 的核心在于其置信度感知的姿态引导技术，确保视频帧的高质量和时间上的平滑过渡。

项目地址：https://tencent.github.io/MimicMotion/

一键整合包下载：MimicMotion - 一张图片实现视频跳舞，腾讯开源照片跳舞模型 本地一键整合包下载

功能特色

MimicMotion 的功能特色包括：

• 生成多样化视频：能够根据用户提供的姿态指导生成各种动作的视频内容，如舞蹈、运动或日常活动。
• 控制视频长度：用户可以指定视频的持续时间，从几秒的短片段到几分钟甚至更长的完整视频。
• 姿态引导控制：使用参考姿态作为条件，确保视频内容在动作上与指定姿态保持一致，实现高度定制化的视频生成。
• 细节质量保证：特别关注视频中的细节，尤其是手部等容易失真的区域，通过置信度感知的策略提供更清晰的视觉效果。
• 时间平滑性：确保视频帧之间的过渡平滑，避免卡顿或不连贯的现象，使视频看起来更加流畅自然。
• 减少图像失真：通过置信度感知的姿态引导，减少由于姿态估计不准确导致的图像失真。
• 长视频生成：采用渐进式潜在融合技术，生成长视频时保持高时间连贯性。
• 资源消耗控制：优化算法以确保资源消耗保持在合理范围内，即使在生成较长视频时也能有效地管理计算资源。

生成案例

使用教程

1.下载解压一键包，双击一键启动，等待自动进入WebUI界面

2、上传一张 参考图片 和 参考视频

“

这里还需要提一下，如果视频中的人物是全身的话，上传照片中的人物也尽量用全身照，要不然出来的效果可能没那么好。

如果视频中的人物是半身的，那也可以上传半身的照片。

半身照，人物脸部的细节比较到位，人物的脸部就不太容易崩坏，人物一致性保持的还是相当不错的。

”

3、高级设置参数可以默认，也可以调节帧率、分辨率等参数，最后点生成即可。

注：目前整个项目生成速度较慢，尤其是参数越高，速度越慢，请根据自己的显卡设置参数。