造梦师手记:ComfyUI快速量产数字小姐姐
发布时间:2024年06月06日
这几天接了一个“订单”,之所以加引号,是因为免费的。
因为公司布局调整,我带过的一个小团队前两年解散了。
不过优秀的成员们在其他部门依然成绩斐然。
最近她们(7个女生)的一个项目获奖,为了上台演讲的时候更加有吸引力,她们求助我把生活照用AI做成动漫效果。
这个任务说复杂并不复杂,习惯用AI的,完全可以找个动漫大模型用图生图转换一下。
但是,注意这里有个但是。
但是让小姐姐们满意不容易。
她们最终要呈现在大屏幕上七人组合的照片,要求纯白背景,简单的白色T恤、牛仔裤。
我一开始设想找一张七人图,然后用ControlNet提取姿势,再图生图生成七人合影。
不过我的显存只有12G(3060),合影需要很大的画幅,跑起来非常慢甚至可能爆显存。
于是我决定化繁为简,跑7张纯白背景的图,然后让小姐姐们在PS里合成。团队里有三个学设计的研究生,后期处理轻而易举。
为了保持画面的一致性以及参数的稳定,我选择了comfyUI(近期已经全面拥抱comfyUI,很少使用WebUI了)界面。
为了捕捉小姐姐们的面部,我选择了Face ID插件。
一、简要复习下Face ID插件的安装
1、安装IPAdapter节点
点击管理器,搜索IPAdapter
安装ComfyUI_IPAdapter_plus节点。
安装后重启启动器。
如果是先装节点,后安装模型,会出现重启后报错的情况,不过不要紧,按照上文的顺序把这些模型装一遍就好了。
2、安装IPAdapter模型
Face ID依托IPAdapter实现,IPAdapter已经发布了SD1.5和SDXL下的十几个模型,建议统统下载备用。
(1)Image Encoder(编码器)
需要下载安装两个基础的编码器模型,需要注意的是,在huggingface,这两个模型文件名一样的,建议下载后重命名为SD15和SDXL。
如果从我提供的网盘下载,就不需要重命名了,我已整理好。
不过,两个模型的应用范围并不是那么严格,和大模型的图片大小有关。SDXL模型只能用于SDXL,但SD15模型也可以用于一部分SDXL模型。
当你使用SDXL模型遇到类似尺寸不符的提示时,就可以更换为SD15模型。
编码器两个模型拷贝至:
ComfyUI\models\clip_vision
如果没有该目录,需要手工创建。
(2)IPAdapter常见模型
我从huggingface下载了21个模型,均已打包放在网盘。
https://www.123pan.com/s/ueDeVv-PJuI.html
3、工作流增加Face ID节点
安装完模型,就可以在工作流里进行配置了!
主要是一个IPAdapter应用节点,以及四个辅助节点。
添加节点-IP适配-IP适配应用(FaceID)。
主节点配置完成后,再将IP适配、CLIP视觉、InsightFace、图像、模型拖拉出新的节点。
(1)IP适配选择相应的ipadapter模型,我用的是SDXL模型,所以这里选了个SDXL的。
(2)CLIP视觉加载器,有两个模型可选。
SD1.5的只能选SD15,SDXL的默认选SDXL,如果出现图片尺寸相关的报错,则改成SD15即可。
(3)加载InsightFace,建议用CUDA,如果报错,可以改成CPU模式。
(4)加载图像,这里为换脸的原图输入。
(5)加载LoRA。该项不是选出来的,而是手动添加的,该项可选可不选。
Face ID提供了两个LoRA模型,一个SD1.5,一个SDXL,使用LoRA,效果会更好一些。这也是FaceID优于其他换脸工具的原因之一。
ipadapter节点左边的“模型”,连接到LoRA节点然后再连到大模型(本文是leosamsHelloworldXL),右边的“模型”,连接到采样器。
注意事项:ipadapter的权重,建议0.6-0.8之间,LoRA的权重,也建议0.6-0.8之间。否则容易过拟合。
二、调试提示词
沟通好每个小姐姐想要的发型、姿态。
然后试生成图片,请小姐姐们过目预览。
再根据需求进行调整。
这是一个漫长的过程... ...
省略一万字。
如图,上传一个小姐姐的自拍照(为防止泄露隐私,已打码),工作流生成照片。
经过不断的调整尺寸,调整姿态,终于得到一张小姐姐满意的照片。
七个小姐姐们的漫画风格照片逐一生成。
后面我的工作就省事了,她们用PS组合在一起,然后搬上了大屏幕。
排练的时候我看了一下效果,非常惊艳,引起了参与人员的轰动。
当然了,这个“订单”还有很多种解决方式,这并不是最优解。
我认为理想中的最佳方案是通过ControlNet控制体态,逐个面部进行对应,然后一次性生成大图。
只不过这种方式需要配置非常多的节点,对显卡要求也比较高,需要更多的准备时间,我精力有限(事实上和小姐姐们沟通的时间并不短),就选择了逐张生成的方式。
小姐姐们非常满意,甚至有几位把头像换成了AI漫画。
PS,凌晨跑完图后,好友问我为啥还没休息,我兴奋的解释了下,于是又给她做了一张头像。
出自:https://mp.weixin.qq.com/s/xi0AuBSio9f0WbyPVPy6Qg
Kaiber是一款出色的视频生成AI工具,其独特的text2movie功能使得创作动画视频变得轻而易举。只需简单输入关键词,即可生成令人惊叹的动画作品。