字节推出开源绘画大模型SDXL-Lightning,秒级出图
发布时间:2024年06月06日
在AI绘画领域,字节的努力从未停歇。
这是因为其所有两大核心业务——头条和抖音(海外为TikTok)均对AI有强烈的需求。
字节的众多头条作者和抖音创作者们,为其提供了大量的训练材料。
然而,字节并未独自创新,而是更加关注已有技术的应用。
例如,大模型AI绘画技术。
今年2月21日,字节推出了一个SDXL-Lightning模型。
相较于其他SDXL大模型,SDXL-Lightning最显著的优点在于可一步生成图像。
速度远超 Turbo 或 LCM!
字节称:
SDXL-Lightning是一种速度极快的文本到图像生成模型。它可以通过几个步骤生成高质量的画面。该模型仅用于研究目的。
我们的模型是从小稳定性AI(stabilityai)/稳定扩散XL基础版1.0(stable-diffusion-xl-base-1.0)中提炼而来。这个存储库包含了一步、两步、四步和八步提炼模型的检查点。我们两步、四步和八步模型的生成质量非常惊艳。而我们的第一步模型则更具实验性。
我们提供完整的UNet模型和LoRA模型。完整的UNet模型品质最佳,而LoRA模型则可以应用于其他基础模型。
Diffusers使用方法: 请始终使用与相应推理步骤对应的正确检查点。
字节提供了模型下载和comfyUI下的工作流:
模型
https://hf-mirror.com/ByteDance/SDXL-Lightning/tree/main
工作流
https://hf-mirror.com/ByteDance/SDXL-Lightning/blob/main/comfyui/sdxl_lightning_workflow_full.json
详细评测待,敬请期待。
Gnomic智能体立足AI Agent生态体系构建,通过打造AI Agent多模态生态平台,帮助开发者快速设计和训练个性化的智能体。