【开源黑科技】鹅厂PhotoMaker AI绘画工具,一键打造多风格头像!
发布时间:2024年06月06日
在当今科技日新月异的时代,人工智能的发展正以前所未有的速度前进。特别是在人工智能生成内容(AIGC)领域,创新成果层出不穷。近期,腾讯推出了一款名为PhotoMaker的AI图像生成工具,迅速在开源社区中崭露头角,并受到了众多科技领域意见领袖的推崇和推荐。
PhotoMaker的火爆并非偶然,它的核心功能是作为一款多功能的头像生成器。用户可能会以为它仅仅是一个简单的图片编辑工具,但PhotoMaker的功能远不止于此。它不受原始输入图像的限制,能够自由地调整人物的性别、年龄等特征,创造出风格迥异的全新图像。这种灵活性和创造性是PhotoMaker的一大亮点。
接下来,让我们深入探究PhotoMaker的魅力所在,了解它是如何迅速走红,成为众人热议的焦点。
PhotoMaker
是一款通过堆叠 ID技术嵌入定制出逼真的人体照片的开源工具。
一个可以创建任何风格的任何人的照片/绘画/头像的生成器。
能根据描述生成符合描述的人物照片。也能把几个不同人的照片特征混合在一起,创造出一个全新的人物形象。
还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真,效果自然。更加无需训练LoRA即可保持角色一致性。
🌠主要特点:
PhotoMaker
使用的核心技术是“堆叠ID嵌入”。
这意味着它可以将多个身份证明(ID)图像的信息合并成一个统一的数据结构。这种方法不仅能捕捉到单个ID的细微特征,还能整合多个不同ID的特征,创造出新的、个性化的图像。
o• 结合多张照片的特征
:PhotoMaker可以取多张照片,这些照片可以是同一个人的,也可以是不同人的。它分析这些照片中的特征,然后将它们结合起来,创造出一个新的、个性化的人物图像。
o• 灵活的文本控制
:与其他方法相比,PhotoMaker提供了更灵活的文本控制能力。用户可以通过文本提示来指导图像的生成,这使得创造出的图像不仅逼真,而且能更好地符合用户的具体要求。
o• 高效率和快速生成
:相比于需要大量微调的方法(如DreamBooth),PhotoMaker在保持身份信息的同时,提供了更快的生成速度。它能在短时间内(例如10秒)生成定制的人类照片,这对于需要快速生成结果的应用场景非常有利。
o• 高身份保真度
:PhotoMaker在生成图像时能更好地保持人物的身份特征。这对于需要精确保留人物特征的场景(如个性化肖像或身份识别)尤其重要。
主要功能:
o• 根据文字描述制作照片
:你可以告诉它你想要的人物样子,它就能生成符合描述的人物照片。
o• 混合多个人的特征
:它可以把几个不同人的照片特征混合在一起,创造出一个全新的人物形象。
o• 改变年龄或性别
:比如,你可以把一张男士的照片转换成女士的样子,或者让照片中的人看起来年轻或年老。
o• 添加艺术风格
:它还能给照片加上不同的艺术效果,比如油画风格或卡通风格。
o• 现实化艺术作品/旧照片中的人物
:将艺术品或旧照片中的人物带入现代。
部署及使用:
项目要求Python版本3.8及以上、Pytorch版本2.0及以上。然后下载代码、下载模型、训练模型、启动服务、本地使用。
1. 下载代码。
1.1 github地址
https://github.com/TencentARC/PhotoMaker
https://photo-maker.github.io/
1.2 国内Gitee
https://gitee.com/hooface/PhotoMaker?_from=gitee_search#-download-models
1.3 安装
pip install -r requirements.txt
1.4 模型下载
查看代码发现,需要下载的模型包括:
SG161222/RealVisXL_V3.0
TencentARC/PhotoMaker
HuggingFace 下载
https://huggingface.co/TencentARC/PhotoMaker
https://huggingface.co/SG161222/RealVisXL_V3.0
国内下载(先看ModelScope,找不到)
魔搭没有
Huggingface 镜像站(可用)
https://hf-mirror.com/
国内下载HuggingFace包
pip install -U huggingface_hub
#linux
export HF_ENDPOINT=https://hf-mirror.com
#windows powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"
#替换下面的SG161222/RealVisXL_V3.0 为你要下载的包名
huggingface-cli download --resume-download --local-dir-use-symlinks
False SG161222/RealVisXL_V3.0 --local-dir RealVisXL
中间断了的话,重新执行相同命令,支持断点续传。
1.5 喜闻乐见:开始运行
Windows引用修复
测试代码在Win11下直接跑不起来,报包引用找不到。
修复如下:
下载包替换
改成加载本地下载好的包。
运行脚本,打开浏览器使用
前面安装环境的Python 运行app.py 浏览器打开下面的地址。
使用步骤:
1️⃣上传您想要定制的人的图片。一张图片就可以,但更多的更好。(上传的图片中的人应占据图片的大部分区域)
2️⃣输入一个文本提示,确保将您想要定制的类别词与触发词img配对。
例如:man img(男人的图片)或woman img(女人的图片)或girl img(女孩的图片)。
3️⃣选择您喜欢的样式模板。
4️⃣点击提交按钮开始进行定制。
还有其他作者根据PhotoMaker,提供舒适的用户界面项目:
o• https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker
o• https://github.com/StartHua/Comfyui-Mine-PhotoMaker
o• https://github.com/shiimizu/ComfyUI-PhotoMaker
组合使用场景示例
1、可以根据描述生成多种风格个人照片。
比如: 你见过这样的黑寡妇吗?
2、混合不同人物特征,生成全新人物形态。
比如: 奥特曼和乔布斯“生”的孩子,可能长这样?
3、修改年龄、性别以及照片年代。
比如: 小时候的马斯克,你见过吗?
总结
实验结果表明,与其他类似模型相比,PhotoMaker具备高质量和多样化的生成能力,以及可编辑性、保真性。
此外,这一方法还能实现更多以往难实现的有趣功能。比如改变年龄或性别、将旧照片或艺术作品中的人物还原到现实中以及身份混合等。
参考链接🔗:
[1]: https://www.linkresearcher.com/theses/adba75a0-bb87-415a-ab81-e19de089f787
AI改图神器是是一个包含了图片编辑、图片无损放大变清晰、一键智能抠图、AI去除水印、文件格式转换等多种功能的图片处理聚合类工具