AI 绘画新时代:ChatGPT + DALL-E 3
发布时间:2024年06月06日
ChatGPT 绘画能力的出现对 MidJourney 来说将是巨大的冲击,这里我想引用一下@DrJimFan[1]的观点:
多轮对话与人类反馈:DALL-E 3 通过多轮对话作为用户界面,能够获取详细的人类反馈。用户以自由表达的语言解释生成图像的问题,为模型的优化提供精细注释。这些反馈对模型的多模态学习和视觉能力的提升具有正面效用。
算法效率:尽管 MidJourney 拥有更多可能的数据集,但其质量相较于 OpenAI 仍显不足。OpenAI 通过使用如 Consistency Model(arXiv:2303.01469
) 之类的新算法,展现出了更高效的数据利用和模型改进能力。
生态系统集成:DALLE 3 与 ChatGPT 的集成极大地增强了功能和易用性。例如,它可以轻松添加代码解释器和浏览器等模块。同时,通过调用 API 或插件实现图像滤镜的应用和参考图像的获取,增强了其多功能性。
现有用户基础:ChatGPT 享有庞大的用户基础(1
亿用户),相较于 MidJourney(1600 万用户)分发优势显著。用户界面的便捷性也在推广中扮演着重要角色,例如,将平台从 Discord(一个不那么友好的界面)迁移出去。
📌 一致性模型
Consistency
Model:https://arxiv.org/abs/2303.01469
扩散模型在图像、音频和视频生成的领域中实现了显著的进步,但这一模型依赖于一个缓慢的迭代抽样过程。为了突破这一局限,我们提出了一种新的模型家族——一致性模型,其能够通过直接将噪声映射到数据上来创建高品质样本。设计上,它们支持快速的一步生成,同时允许通过多步抽样在计算和样本质量之间做权衡。此外,它们还支持诸如图像修补、上色和超分辨等零样本数据编辑,而这些并不要求在这些任务上进行明确的训练。一致性模型既可以通过提炼预训练的扩散模型来训练,也可以作为一个完全独立的生成模型。通过一系列的实验,我们展示了在一步生成和少步抽样中,它们超过了现有的扩散模型的提炼技术,达到了在 CIFAR-10 上新的最先进的 FID 3.55 和在 ImageNet 64x64 上的 6.20。当进行单独训练时,一致性模型形成了一个新的生成模型家族,能在如 CIFAR-10、ImageNet 64x64 以及 LSUN 256x256 等标准基准上超越现有的一步、非对抗生成模型。
创作
整个创作过程没有一句多余解释,它就会生成你想要的结果(自然语言的魅力所在,让你彻底忘掉什么所谓的 AI 绘画提示词)。不过中文描述并不万能的,在最后部分,我一直使用大颗粒像素来描述画风,它并未给出预期结果,当使用pixel art
之后,就达到了预期。一定要看到最后,它最大的惊喜是可以创作有故事剧情的漫画。
📌 Prompt
请绘制一个封面,尺寸 1200x600:星空,大海,梵高风格
📌 Prompt
请你继续尝试这种风格,绘制一些美丽的自然风光,绚烂多彩
📌 Prompt
我想要梵高风格,请讲中文
📌 Prompt
如果让你自己选择一个风格,你想画什么,尽情发挥你的想象力吧
📌 Prompt
如果让你用不同的画风来描述:我,过去,现在,未来。你会如何表现它,请提供丰富的细节。
📌 Prompt
这些都太普通了,你可以来点超脱人类固有认知的风格吗,我想看到它们,你会极其细致的为我描绘它们的细节。
📌 Prompt
我想要像素,块状油墨,水墨,素描风格的自然风光,你需要在一幅画中将它们完美融合
📌 Prompt
矢量插画,一个人坐在电脑前正在忙碌的工作
📌 Prompt
改为像素画吧
📌 Prompt
我要大颗粒像素,背景要有渐变磨砂质感
📌 Prompt
大颗粒不规则的像素,像素之间要存在间隙,重新调整
📌 Prompt
pixel art
📌 Prompt
pixel art,一个人坐在电脑前正在忙碌的工作,背景要有渐变磨砂质感
漫画
故事一
漫画第一格:在一个宁静的小村庄,夜晚的月光照亮了整个村子。一个年轻的男子正在村口的大树下阅读一本古老的书籍。
漫画第二格:突然,书中飞出了一个闪闪发光的小仙子。她微笑着对年轻人说:“你释放了我,现在我将授予你一个神奇的能力。”
漫画第三格:年轻男子惊讶地看着自己的手,他的手指尖发出了金色的光芒。周围的树木和花朵都开始旋转和舞动,仿佛被魔法点亮。
漫画第四格:随后,整个村庄的人们都聚集在村口,看着这神奇的场景。年轻男子微笑着,与仙子手牵手,带领村民们一起跳起了欢快的舞蹈。
故事二
黑白漫画第一格:一个侦探站在昏暗的街道上,手里拿着放大镜,正在查看一些线索。
黑白漫画第二格:侦探进入一个旧书店,与书店老板交谈,试图找到某本书的线索。
黑白漫画第三格:在书店的地下室,侦探发现了一个隐藏的房间,里面放着一些古老的文物和日记。
黑白漫画第四格:侦探坐在办公桌前,翻开日记,突然意识到一个重要的真相,他的脸上露出惊讶的表情。
References
[1]
@DrJimFan: https://twitter.com/DrJimFan
出自:https://mp.weixin.qq.com/s/EQfDygzSZy8pPxNfOlJSTQ
墨星写作网是互联网第一家首创网络小说写作辅助平台,收录了目前全网最全的小说写作手法技巧、各类素材资料等。