LiveSketch简介
LiveSketch是一款ai生成视频工具,用户通过文本提示将静态素描转化为动画,它提供了一种简单直观的方法,使他们的素描变得生动活泼。无论是用于讲故事、插图、网站设计还是演示文稿,LiveSketch都能赋予静态素描图生命,使其更加丰富有趣。
只需要简短的一句文本提示,LiveSketch就能让寥寥几笔涂鸦成真,输出生动活泼的的SVG动画片段,而且易于编辑和调整,可以通过文本控制动画的动作和幅度。
草图是人类用来直观、最通用的工具之一,用于直观地传达他们的想法。动画草图为思想的表达打开了另一个维度,并被设计师广泛用于各种目的。
草图动画是一个费力的过程,需要丰富的经验和专业的设计技能。 在这项工作中,我们针对LiveSketch提出了一种方法,该方法只需提供指示所需运动的文本提示,即可自动将运动添加到单主题草图中(因此,“为它注入生命”)。 输出是以矢量表示形式提供的简短动画,可以轻松编辑LiveSketch。
我们的方法不需要大量的训练,而是利用大型预训练文本到视频扩散模型的运动先验,使用分数蒸馏损失来指导笔画的位置。 为了促进自然和流畅的运动,并更好地保留草图的外观,我们通过两个组件对学习到的运动进行建模。第一个控制小的局部变形,第二个控制全局仿射变换。
令人惊讶的是,我们发现,即使是难以自行生成草图视频的模型,LiveSketch仍然可以作为动画抽象表示的有用骨干。
LiveSketch有很大局限性。首先,目前来说,它只能通过简单地修改描述运动的提示,对生成结果进行一定程度的控制。这些修改和控制仅限于模型可以创建的小动作,且文本提示需要与初始草图的语义一致,当主体包含多个对象时,则无法进行区分了。
未来,LiveSketch这类技术或许还能在艺术创作、儿童教育等领域大放异彩,大大降低艺术创造的门槛,提升教育的趣味性和互动性。
如果你想要更深入地了解关于智能资讯的内容,可以查看 智汇宝库,这是一个提供智能科技领域最新资讯的网站。
在这个过程中,你可以探索各种智能技术的发展动态,了解智能科技领域的最新进展和趋势。
MagicEdit 是字节跳动的一款视频编辑工具,它可以高保真度和时间连贯性地编辑视频,通过学习明确区分外观和动作。