免费文生图工具StableDiffusion喂饭级使用教程
发布时间:2024年06月06日
一键安装
如果是计算机小白,一定要看这个教程 注意:SD本体部署后直接使用非常困难,建议在完成本体部署之后,安装启动器。秋叶的版本很香
秋叶一键整合包: https://www.bilibili.com/video/BV17d4y1C73R
星空一键整合包: https://www.bilibili.com/video/BV16j411A7BL
注:星空的东西很全,但是视频讲的不是很清楚,如果刚入门的话建议看一下合集内的其他视频,一步步了解他是如何更新他的整合包的。
启动器安装 启动器为独立于SD本体的一个小工具,将这个工具按照视频中的方式部署到SD文件夹中再打开它,它就能解决绝大多数的后续问题。
秋叶的启动器: https://www.bilibili.com/video/BV1ne4y1V7QU 一定要仔细看完视频 基础操作教程
轩轩的基础教程 目前找到的最系统化,讲的也最细致的教程了,不过因为讲的全所以节奏慢,按照需求跳着看吧。记得看视频合集,他都已经整理出来了。
https://www.bilibili.com/video/BV1k54y1T7Lf 汉化安装教程
大部分安装包自带一部分汉化,但若是想要完全汉化还是需要自己安装一个插件。 https://www.bilibili.com/video/BV1654y1M7Za
注意:完全汉化之后可能导致照抄一些教程比较费劲,需要注意下。
背景
Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像,官方项目其实并不适合新手直接使用,好在有一些基于 stable-diffusion
封装的 webui
开源项目,可以通过界面交互的方式来使用 stable-diffusion
,极大的降低了使用门槛,以下是几个比较火的 webui
项目:
其中,AUTOMATIC1111
的 stable-diffusion-webui
是目前功能最多最好用的,强烈推荐,下面就来介绍如何使用它。还是先看看他们的能力如何
配置要求
要顺利运行stable-diffusion-webui和模型, 需要足够大的显存,最低配置4GB显存,基本配置6GB显存,推荐配置12GB显存。 当然内存也不能太小,最好大于16GB,总之内存越大越好,如下图显卡为NVIDIA GeForce GTX 1060 Ti ( 5GB / NVIDIA ),这个上古显卡跑AI绘画着实比较吃力,但也能将就用。
1、下载项目
通过 git
的方式将整个工程源码拉下来运行:
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
注:这个开源项目目前的更新频率很快,会不定期的修复一些 bug 或加入一些新功能,所以建议可以时常 git pull
拉取最新代码。老司机请跳过1、2、3步~
1、下载安装git
2、Python 环境
stable-diffusion-webui
主要是使用 Python 开发的,所以运行这个工程,需要安装一下 Python 环境并配置好环境变量,
注意:官方推荐安装 Python 3.10.6
版本 3.10.6下载地址
使用
python --version
查看当前版本。
另外,建议使用 Anaconda
管理多个 Python 环境,详见
- 官方的 conda 环境安装说明:github.com/AUTOMATIC11…
- anaconda 常用命令:blog.csdn.net/ligous/arti…
3、CUDA 环境
默认 stable-diffusion-webui
运行使用的是 GPU 算力,也就是说需要用到 Nvidia 显卡(配置越高,绘图越快)A卡不行,A卡不行,A卡不行(CPU 算力跟 GPU 算力相比简直天差地别,虽然可以通过改参来实现,但有条件直接上N卡吧)。这里我们需要安装 CUDA 驱动,先确定一下电脑能安装的 CUDA 版本,桌面右下角->右键 NVIDIA 设置图标->NVIDIA 控制面板:
可以看到我的电脑的显示的是 NVIDIA CUDA 11.6.134 driver
,所以我的电脑要安装的 CUDA 版本不能超过 11.6。
注意:高版本显卡是可以安装低版本的 CUDA 驱动的,比如我也可以安装经典的 10.2 版本,但是安装 11.6 版本可以获得更高的 GPU 运行效率,所以一般来说推荐安装显卡支持的最高 CUDA 版本。
在下面的网址中找到对应的 CUDA 版本进行安装:
- CUDA 官方归档:developer.nvidia.com/cuda-toolki…
直接选择 "精简" 安装就可以了,安装完成之后,可以使用如下命令查看 CUDA 版本,来验证 CUDA 是否安装成功:
nvcc --version
注:如果你没有 Nvidia 显卡,也可以通过给 stable-diffusion-webui
指定运行参数 --use-cpu sd
,让其使用 CPU 算力运行,但是非常不建议你这么做,CPU 算力跟 GPU 算力相比简直天差地别,可能 GPU 只需要 10 秒就能绘制完成,而 CPU 却要 10 分钟,这不是开玩笑的。另外,如果你的显卡内存不多,建议 4G 的显卡加上 --medvram
启动参数,2G 的显卡加上 --lowvram
启动参数。
Windows用户编辑webui-user.bat文件,修改第六行:
set COMMANDLINE_ARGS=--lowvram --precision full --no-half --skip-torch-cuda-test
如果是16系列显卡,出的图是黑色的话,也是修改webui-user.bat文件的第六行:
set COMMANDLINE_ARGS=--lowvram --precision full --no-half
2、下载权重文件sd-v1-4.ckpt
这是stable diffusion运行必须的权重文件,4G左右,可以去hugging face下载后放到models/Stable-diffusion目录下
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
3、下载本文需要的模型文件
主要用于真人风格图像绘制(都可以下来试试,推荐lora)
chilloutmix_NiPrunedFp32Fix.safetensors
可以去C站下载,3.97G,下载完成后放到models/Stable-diffusion目录下
https://civitai.com/models/6424
4、启动项目
在安装配置好运行环境之后,直接运行工程下的 webui-user.bat
文件即可(如果是类 Unix 系统,则运行 webui-user.sh
)。ps:这样启动是白天模式
使用命令
.\webui.bat --theme dark
启动的是夜间模式(不加theme参数就是日间模式)
首次启动会自动下载一些 Python 依赖库(具体哪些库请看工程下的 requirements.txt
) ,以及项目需要用到的配置和模型文件(比如:v1-5-pruned-emaonly.safetensors
,将近 4 个 G~),初始化一次之后,下次启动就快了。
Launching Web UI with arguments: ... Running on local URL: http://127.0.0.1:7860 To create a public link, set `share=True` in `launch()`.
看到这个提示就说明成功运行起来了,打开网址就可以看到程序的运行界面了:
温馨提示:该项目是英文页面,可以使用extension进行中文版本扩展
4-12:插入——————————————————————————————————————————————
tips:如何安装webUI简体中文语言包
此扩展可以在 Extension 选项卡里面通过加载官方插件列表直接安装
官方下载
- 点击
Extension
选项卡,点击Avaliable
子选项卡 - 取消勾选
localization
,再把其他勾上,然后点击 橙色按钮,如下图
- 在
zh_CN Localization
这一项的右边点击install
通过网址安装
- 点击
Extension
选项卡,点击Install from URL
子选项卡 - 复制本 git 仓库网址:
https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN
- 粘贴进 URL 栏,点击
Install
,如图
安装完成~~~~
确保扩展已经正确加载后
配置
- 重启webUI以确保扩展已经加载了
- 在
Settings
选项卡,点击 页面右上角的 橙色Reload UI
按钮 刷新扩展列表
- 在
Extensions
选项卡,确定已勾选本扩展☑️;如未勾选,勾选后点击橙色按钮启用本扩展。
选择简体中文语言包(zh_CN)
- 在
Settings
选项卡中,找到User interface
子选项
- 然后去页面最底部,找到
Localization (requires restart)
小项,找到在下拉选单中选中zh_CN
(如果没有就按一下 按钮),如图
- 然后按一下 页面顶部左边的 橙色
Apply settings
按钮 保存设置,再按 右边的 橙色Reload UI
按钮 重启webUI - 生效了~~~
5、开始使用
stable-diffusion-webui
的功能很多,主要有如下 2 个:
- 文生图(
text2img
):根据提示词(Prompt)的描述生成相应的图片。 - 图生图(
img2img
):将一张图片根据提示词(Prompt)描述的特点生成另一张新的图片。
1、文生图(text2img
)
在开始使用文生图之前,有必要了解以下几个参数的含义:
参数 | 说明 |
---|---|
Prompt | 提示词(正向) |
Negative prompt | 消极的提示词(反向) |
Width & Height | 要生成的图片尺寸。尺寸越大,越耗性能,耗时越久。 |
CFG scale | AI 对描述参数(Prompt)的倾向程度。值越小生成的图片越偏离你的描述,但越符合逻辑;值越大则生成的图片越符合你的描述,但可能不符合逻辑。 |
Sampling method | 采样方法。有很多种,但只是采样算法上有差别,没有好坏之分,选用适合的即可。 |
Sampling steps | 采样步长。太小的话采样的随机性会很高,太大的话采样的效率会很低,拒绝概率高(可以理解为没有采样到,采样的结果被舍弃了)。 |
Seed | 随机数种子。生成每张图片时的随机种子,这个种子是用来作为确定扩散初始状态的基础。不懂的话,用随机的即可。 |
以上对参数的解析源自以下文章:
接下来我们来生成一张赛博朋克风格的猫咪图片,配置以下参数后,
点击 "Generate" 即可:
Prompt:a cute cat, cyberpunk art, by Adam Marczyński, cyber steampunk 8 k 3 d, kerem beyit, very cute robot zen, beeple | Negative prompt:(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation, flowers, human, man, woman CFG scale:6.5 Sampling method:Euler a Sampling steps:26 Seed:1791574510
注:提示词(Prompt)越多,AI 绘图结果会更加精准,另外,目前中文提示词的效果不好,还得使用英文提示词。
2、模型文件
上面截图里左上角 Stable Diffusion checkpoint
的值怎么跟之前截图里的不一样?这是因为我换了一个模型文件,还记得前面提到那个将近 4 个 G 大小的模型文件(v1-5-pruned-emaonly.safetensors
)吗?那是 stable-diffusion-webui
的默认模型文件,用这个模型文件生成出来的图片比较丑,因此我换了另一个模型文件。模型文件下载的网站几个,比较出名的就是 civitai
,这上面共享的都是别人训练好的模型。
模型文件下载地址:
civitai
:civitai.com/- 默认的
v1-5-pruned-emaonly
:huggingface.co/runwayml/st…
根据你要生成的图片风格(比如:动漫、风景),挑选合适的模型查看,前面那个文生图的例子,使用的就是这个 Deliberate
模型,直接点击 "Download Latest" 即可下载该模型文件。
注:模型文件有 2 种格式,分别是 .ckpt
(Model PickleTensor) 和 .safetensors
(Model SafeTensor),据说 .safetensors
更安全,这两种格式 stable-diffusion-webui
都支持,随意下载一种即可。
将下载好的模型文件放到 stable-diffusion-webui\models\Stable-diffusion
目录下:
放置好模型文件之后,需要重启一下 stable-diffusion-webui
(执行 webui-user.bat
)才能识别到。
这些模型文件一般会附带一组效果图,点击任意一张,就可以看到生成该效果图的一些参数配置:
把这些参数配置到 stable-diffusion-webui
中,点击 "Generate" 就可以生成类似效果的图片了。
注:因为 AI 绘图带有随机性质,所以生成出来的图片跟效果图不一定完全一样。
文生图功能有很多东西可以发掘,你可以用它来生成世界上独一无二的图片,而要用好文生图功能,提示词(Prompt)是必须掌握的重中之重,它是有语法规则的,在此推荐两篇对 Prompt 详细说明的文章:
- 全网 Stable Diffusion Prompt 运用技巧:www.bilibili.com/read/cv1990…
- Prompt 工具網站:www.accucrazy.com/prompt-tool…
如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。
Neuroflash 是一种基于AI ,可以为博客文章、社交媒体帖子和其他类型的内容生成高质量的文本和图像,例如营销、SEO、内容创作等。