AnyDoor

AnyDoor

AnyDoor简介

AnyDoor,由香港大学、阿里巴巴和蚂蚁集团联合研发AnyDoor,可以将一张照片上的任何物品传送到另一张图片的世界中。

AnyDoor项目地址:https://damo-vilab.github.io/AnyDoor-Page/

AnyDoor在线演示地址:https://huggingface.co/spaces/xichenhku/AnyDoor-online

AnyDoor功能:

  • 对象移动:AnyDoor 可以应用于对象移动等花哨的任务。

  • 对象交换:AnyDoor 也可以扩展为进行对象交换。

  • 虚拟试妆:AnyDoor还可以作为虚拟试妆的简单但强大的基准。它可以保留不同衣服的颜色、图案和纹理,而无需复杂的人工解析。

  • 多主体合成::由于 AnyDoor 具有高度可控性,可将对象放置在给定场景的特定位置,因此很容易扩展到多主题构图。

AnyDoor--damo-vilab.github.jpg

AnyDoor使用场景:

  • 在虚拟试穿应用中,用户可以将选定的衣物快速定制到自己的照片中。

  • 在物体移动应用中,用户可以将目标物体从一张照片移动到另一张照片中的指定位置。

  • 在设计领域中,用户可以将自己设计的家具或装饰品定制到不同的室内场景中,以获得更直观的效果预览。

AnyDoor是一种基于扩散的图像生成器,能够以和谐的方式将目标物体传送到用户指定位置的新场景。 我们的模型不是为每个对象调整参数,而是只训练一次,并在推理阶段毫不费力地泛化到不同的对象-场景组合。 如此具有挑战性的零样本设置需要对特定物体进行充分的表征。 

为此,我们用细节特征来补充常用的身份特征,这些特征经过精心设计,以保持纹理细节,同时允许多种局部变化(例如,照明、方向、姿势等),支持物体与不同环境的有利融合。 我们进一步建议从视频数据集中借用知识,在那里我们可以观察到单个物体的各种形式(即沿时间轴),从而实现更强的模型泛化性和鲁棒性。 

大量的实验证明了我们的方法优于现有的替代方案,以及它在实际应用中的巨大潜力,如虚拟试妆和物体移动。