谷歌研究团队开发了一种名为“Alchemist”的方法,允许用户在保持照片真实感的同时,对图像中对象的材料属性(如颜色、光泽和透明度)进行参数化编辑。也就是能够在真实图像中线性改变材料属性(粗糙度、金属度、反照率、透明度)。
该方法通过使用合成数据集对文本到图像(T2I)生成模型进行微调,实现了对材料属性的精确控制。模型被训练成在保持对象几何形状不变的情况下,仅编辑特定的材料属性,并保持其他属性的一致性。
Alchemist的功能特点
-
精确材料属性编辑:能够对图像中的物体进行细致的材料属性调整,如增加或减少物体的光滑度、改变物体的金属光泽、调整颜色和透明度等。
视频播放器00:0000:00 -
保持其他图像属性不变:在编辑材料属性的同时,保持图像中的其他属性(如物体的形状和背景)不变,确保编辑后的图像看起来自然且真实。
视频播放器00:0000:00 -
高度真实感:Alchemist 使用文本到图像(T2I)生成模型,并通过合成数据进行微调,确保编辑后的图像保持高度的真实感。即使是对透明度的调整,模型也能正确填充背景并生成逼真的光影效果。
-
无需额外辅助信息:不同于传统方法,Alchemist不需要额外的3D几何数据、深度图或环境贴图,只需要输入图像和编辑指令即可进行材料属性的调整。
-
合成数据训练与泛化:通过使用生成的合成数据进行训练,Alchemist能够将其学习到的材料属性编辑能力有效地应用于真实图像。
-
多属性同时编辑:支持在单次操作中同时编辑多个材料属性,使用户能够更加灵活地对图像中的物体进行复杂的材料调整。
-
用户友好:Alchemist 的编辑操作简单直观,无需专业的图像处理技能。用户只需输入所需的编辑指令和强度值,模型即可自动完成复杂的材料属性调整。
-
应用于3D重建:Alchemist不仅适用于静态图像,还可以将其编辑能力扩展到3D重建技术(如NeRF),对3D场景中的材料属性进行控制。
- 室内设计:用户可以轻松模拟不同颜色和材质的房间效果,帮助做出装修决策。
- 产品设计:设计师可以快速生成不同材料和颜色的产品效果图,方便产品开发和市场测试。
- 3D 渲染:通过与NeRF(神经辐射场)结合,Alchemist 能够生成一致的3D渲染图像,支持下游的3D任务。
材料编辑示例:
- 粗糙度:改变各种物体的粗糙度,如鸡蛋、花瓶和陶器。
视频播放器00:0000:00
- 透明度:调整物体的透明度,如尤达、南瓜和花瓶。
视频播放器00:0000:00
- 金属度:修改物品的金属属性,如茶壶、苹果和玩具。
视频播放器00:0000:00
- 反照率:改变物体的反照率,如苹果、鞋子和雕像。
视频播放器00:0000:00
-
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
实现快速、灵活的实验和高效的生产。