首页 > Ai工具箱 > Ai开源项目 > Magic Animate
Magic Animate

Magic Animate

Magic Animate简介

 

Magic Animate是一项开创性的开源项目,简化了动画创作,允许您从单个图像和动态视频制作动画视频,简单来说,给定一张参考图像和一个姿态序列(视频),它可以生成一个跟随姿态运动,并保持参考图像身份特征的动画视频。由新加坡国立大学的Show Lab和字节跳动打造。

Magic Animate在所有舞蹈视频解决方案中提供最高的一致性,但是Magic Animate 面部和手部可能会出现一些扭曲。默认配置可能会导致从动漫到写实主义的风格转变,尤其是在视频中的面部。将动漫风格应用于默认的DensePose驱动视频也会影响身体比例。

Magic Animate官网地址:www.magicanimate.org

MagicAnimate_-Temporally-Consistent-Human-Image-Animation-using-Diff_---www.magicanimate.jpg

MagicAnimate 的核心功能:

  • 从单个图像和动态视频创建动画
  • 保持时间一致性
  • 保留参考图像
  • 增强动画保真度
  • 与DALLE3等T2I扩散模型集成
  • 跨标识动画和来自未知领域的动画
  • 以文本提示图像动画
  • 在舞蹈视频解决方案中保持高一致性

MagicAnimate 如何使用?

要使用Magic Animate,您需要下载StableDiffusion V1.5和MSE-finetuned VAE的预训练基础模型。然后,您可以安装必要的依赖项并激活conda环境。然后上传一张静态人物照片,上传想要生成的动作demo视频,调整参数。之后,您可以在Huggingface或Replicate上尝试在线演示。另外,您还可以使用Replicate API以编程方式生成动画视频。