Stable Diffusion 新手指南 零基础入门AI绘画神器！教程讲解
北京/平面设计师/1年前/1755浏览
版权
Stable Diffusion 新手指南 零基础入门AI绘画神器！教程讲解
一、Stable Diffusion 介绍
Stable Diffusion 是一种基于扩散过程的图像生成模型，可生成高质量、高分辨率的图像。它通过模拟扩散过程，将噪声图像逐渐转化为目标图像。这种模型具有较强的稳定性和可控性，可以生成具有多样化效果和良好视觉效果的图像。
Stable Diffusion 具有直观的用户界面，可让用户轻松地调整绘画参数并实时预览结果。用户可选择不同的画布、画笔和颜色，还可以通过调整图像的风格、纹理和颜色等参数来创建各种不同的艺术作品。
Stable Diffusion 还提供一些高级功能，例如批量处理、自动矫正和自动化调整等，可帮助用户更加高效地完成大量的绘画任务。
二、配置要求
电脑需N 卡（英伟达 Nvida 独立显卡）首选，效率远超集显/AMD/Intel 显卡和 CPU 渲染，最低 10 系起步，体验感佳用 40 系，显存最低 4G，6G 及格，上不封顶；内存最低 8G，16G 及格，上不封顶；硬盘可用空间最好有个 500G 朝上，固态最佳。
系统要求：支持 Win10/Win11/macOS（仅限 Apple Silicon，Intel 版本的 Mac 无法调用 Radeon 显卡）和 Linux 系统，苹果版 SD 兼容的插件数量较少，功能性不及Windows 与 Linux 电脑。
也可考虑购买云主机，比如腾讯 GPU 云服务器。若无法使用独立显卡和云服务，亦可修改启动配置，使用 CPU 渲染（兼容性强，出图速度慢，需要 16G 以上内存）。
三、Stable Diffusion 安装
现可直接使用@秋葉 aaaki 开发的整合包，可以降低安装门槛 ！一键启动包只是封装可视化的一键界面，不影响出图效果，只是降低了本地部署的门槛。
目前普遍采用的 Stable Diffusion Web UI 是发布于开源程序分享网站 Github 的 Python 项目，和平常软件安装方法不同，不是下载安装即用的软件，需准备执行环境、编译源码，针对不同操作系统、不同电脑还要做调整，这要拥有一定的程序开发经验，已经有很多大佬们写了详细的安装教程。
https://www.tonyisstark.com/846.htmlN显卡在使用 SD 前，登录官网：
https://www.nvidia.cn/geforce/drivers/下载安装对应显卡最新版驱动程序以及 显卡支持的最新版 CUDA 驱动：
具体操作步骤：
1.安装 启动器运行依赖
2.复制这两个文件，粘贴到 novelai-webui-aki-v2 文件夹中
3.找到 启动器双击 即可
4.点击“一键启动”，稍等片刻后会自动打开这个浏览器界面，就可以使用了（第一次打开时会有点久）
5.复制 http://127.0.0.1:7860 打开网页即可使用了
6.界面汉化
方法一：通过WebUI进行拓展安装
1）打开稳定扩散webui，进入“Extensions”选项卡
2）点击“从URL安装”，注意“扩展的git存储库的URL”下方的输入框
3）粘贴/输入本Git仓库地址：
https://github.com/VinsonLaro/stable-diffusion-webui-chinese4）点击黄色下方的按钮“Install”即可完成安装，然后重启WebUI（点击“Install from URL”左侧的“Installed”，然后点击按钮“Apply and restart UI”网页下方的“Reload UI”完成重新启动）
5）点击“设置”，窗口点击“用户界面”界面，在界面里最下方的“本地化（需要重启）”，选择“中文-全部”或者“中文-英文”
6）点击界面最上方的按钮“Apply settings”，再点击右边的“Reload UI”即可完成汉化
方法二：直接复制翻译好的本地化模板
1）在任何目录下使用git clone https://github.com/VinsonLaro/stable-diffusion-webui-chinese
2）进入下载好的文件夹，把“localizations”文件夹内的“Chinese-All.json”和“Chinese-English.json”复制到“stable-diffusion-webui\localizations”目录下
3）点击“设置”，窗口点击“用户界面”界面，在界面里最下方的“本地化（需要重启）”，选择“中文-全部”或者“中文-英文”
4）点击界面最上方的按钮“Apply settings”，再点击右边的“Reload UI”即可完成汉化
可查看插件开发者的说明文档/来自
https://civitai.com/ 等网站的使用心得 ，大家可先在 civitai 上搜索满意的图例，复用原作者的出图提示词、参数和模型，再进行修改，这样学得效果最为直观。
四、界面基础
1.提示词生成
不知如何描写提示词，可先参考优秀的风格模板作为起手，还可借助描述语工具和网站，多出多研究，掌握出图规律，慢慢的就可自己写提示词了，提示词要尽可能写的详细一些。
找 tag 关键词网站推荐几个：
ChatGPT：
https://chat.openai.com/NovelAI：
https://spell.novelai.devpoe ChatGPT：
https://poe.com/ChatGPTmoonvy：
https://moonvy.com/apps/ops/wolfchen：
https://wolfchen.top/tag/arthub.ai：
https://arthub.ai/?refer=17yongai.compromptomania：
https://promptomania.com/?refer=17yongai.com2.Prompt 格式优化
第一段：画质 tag，画风 tag
第二段：画面主体，主体强调，主体细节概括（主体可以是人、事、物、景）画面核心内容
第三段：画面场景细节，或人物细节，embedding tag。画面细节内容
第二段一般提供人数，人物主要特征，主要动作（一般置于人物之前），物体主要特征，主景或景色框架等
举例：(具体场景还是要灵活应用，多尝试，找到合适自己的节奏和风格）
第一段：masterpiece， best quality，4k， ( Pixar - style :1.4)
第二段：1girl，(Cute,handsome，wearing outdoor sportswear :0.7)，3D，(Face close-up :1.2)，(at night，surrounded by glowing plants, flowers，flying fireflies，bonfires), (Ultra detailed， aesthetic，beautiful composition， rich bright colors，volumetric soft light).
第三段：Inspired by Alice in Wonderland, magic, fairy tales. unreal Engine, octane render， cuteness render，awe inspiring， beautiful
masterpiece， best quality，4k，
( Pixar - style :1.4)，1girl，(Cute,handsome，wearing outdoor sportswear :0.7)，3D，(Face close-up :1.2)，(In a cave，at night，surrounded by glowing plants, flowers，flying fireflies，bonfires), (Ultra detailed， aesthetic，beautiful composition， rich bright colors，volumetric soft light). Inspired by Alice in Wonderland
(low quality，worst quality :1.4) bad-hands-5 EasyNegative，blob，no foot
3.Prompt 规则细节
1）越靠前的 Tag 权重越大。
2）生成图片的大小会影响 Prompt 的效果，图片越大需要的 Prompt 越多，不然 Prompt 会相互污染。
3）Stable-diffusion 中，可以使用括号人工修改提示词的权重，方法如下：
(word) - 将权重提高 1.1 倍
((word)) - 将权重提高 1.21 倍（= 1.1 * 1.1）
[word] - 将权重降低至原先的 90.91%
(word:1.5) - 将权重提高 1.5 倍
(word:0.25) - 将权重减少为原先的 25%
请注意，权重值最好不要超过 1.5
4）Prompt 支持使用 emoji，可通过添加 emoji 达到表现效果。如😍形容表情，🖐可修手。
5）“+” ， “AND”， “|” 用法：“+”和“AND”都是用于连接短 Tag，但 AND 两端要加空格。“+”约等于“and”；“|” 为循环绘制符号（融合符号）(Prompt A: w1)|(Prompt B: w2)
以上表达适用于 WebUI，w1、w2 为权重。AI 会对 A、B 两 Prompt 进行循环绘制。可往后无限加入 Prompt。
6）tag 不一定是多么充满细节，只要模型稳定。小图+高分辨率重绘。800*400 的图变成 1600*800，初识小图减少崩坏概率。
7）关键词最好具有特异性，譬如 Anime(动漫)一词就相对泛化，而 JoJo 一词就能清晰地指向 JoJo 动漫的画风。措辞越不抽象越好，尽可能避免留下解释空间的措辞。
五、了解模型
1. 下载模型 主流模型下载网站：
1）Hugging face 是一个专注于构建、训练和部署先进开源机器学习模型的网站：
https://huggingface.co/2）Civitai 是一个专为 Stable Diffusion AI 艺术模型设计的网站：
https://civitai.com/
2. 模型选择
如何选择合适模型是最重要的。
从你想画的风格（写实、二次元、卡通盲盒等）来选择大模型，再搭配合适的 Lora。
1）Checkpoint
体积较大，也被称为大模型，不同的大模型使用不同的图片训练而成，对应不同的风格，相当于最底层的引擎。有时候需要大模型+VAE+emb+Lora 联合搭配使用以达到需要的效果。
下载的大模型可放置于 SD 文件夹/models/Stable-diffusion 内。
2）Lora
Lora 是特征模型，体积较小，是基于某个确定的角色、确定的风格或者固定的动作训练而成的模型，可使用权重控制，确定性要远强于 embedding。embedding 和 Lora 有功能交集的部分，也有互相不可取代的地方。
在 ckpt 大模型上附加使用，对人物、姿势、物体表现较好。在 webui 界面的 Additional Networks 下勾线 Enable 启用，然后在 Model 下选择模型，并可用 Weight 调整权重。权重越大，该 Lora 的影响也越大。不建议权重过大（超过 1.2），否则很容易出现扭曲的结果。
多个 Lora 模型混合使用可以起到叠加效果，譬如一个控制面部的 Lora 配合一个控制画风的 Lora 就可以生成具有特定画风的特定人物。因此可以使用多个专注于不同方面优化的 Lora，分别调整权重，结合出自己想要实现的效果。
LoHA 模型是一种 LORA 模型的改进。
下载的 Lora 可放置于 SD 文件夹/models/Lora 内。
3）VAE
VAE 模型类似滤镜，对画面进行调色与微调，一般需要搭配相应的模型一起使用。（如果图片比较灰，颜色不太靓丽，就可能是没加载 vae)
下载的 VAE 可放置于 SD 文件夹/models/VAE 内。
4）Textual inversion（embedding）
关键词预设模型，即关键词打包，即等于预设好一篮子关键词 a,b,c 打包，进而来指代特定的对象/风格。也可以通过下载 Textual inversion 进行使用。
下载的 embedding 可放置于 SD 文件夹/embeddings 内。
六、进阶篇：ControlNet 使用
ControlNet基础知识—搞定插件安装
ControlNet 的作用是通过添加额外控制条件，来引导 Stable Diffusion 按照创作者的创作思路生成图像，从而提升 AI 图像生成的可控性和精度。在使用 ControlNet 前，需要确保已经正确安装 Stable Diffusion 和 ControlNet 插件。
ControlNet 是斯坦福大学研究人员开发的 Stable Diffusion 的扩展，使创作者能够轻松地控制 AI 图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet 可以概括为一种简单的稳定扩散微调方法。
ControlNet 的工作原理是将可训练的网络模块附加到稳定扩散模型的 U-Net （噪声预测器）的各个部分。Stable Diffusion 模型的权重是锁定的，在训练过程中它们是不变的。在训练期间仅修改附加模块。
目前 ControlNet 已经更新到 1.1 版本，相较于 1.0 版本，ControlNet1.1 新增更多的预处理器和模型，原有的模型也通过更好的数据训练获得了更优的性能。想了解更多内容可参考文档：
https://github.com/lllyasviel/ControlNet-v1-1-nightly从 github 上找到并把网址填到扩展里安装，安装完后记得点击 Apply and restart UI
1）将 ControlNet 模型（.pt、.pth、.ckpt 或.safetensors）放入 models/ControlNet 文件夹。
2）打开“txt2img”或“img2img”选项卡，写下您的提示。
3）按“刷新模型”，选择要使用的模型。（若没有出现，请尝试重新加载/重新启动 webui）
4）上传您的图像并选择预处理器 完成。
目前，它支持完整型号和修剪型号。使用 extract_controlnet.py 从原始.pth 文件中提取 controlnet。
controlnet支持多个单元输入，共同生效。与关键词，LoRA一样，每个control单元都有权重（control weight）可以来控制。
如果界面上4个单元都不够用，可以在设置里controlnet目录下，调整ControlNet Unit最大数量，重启WebUI才生效。
每个单元的开启很容易，把启用勾选上就立刻生效。生图可见。
低显存模式针对8G及以下的显卡，可以勾上。
画面精度高可以勾上完美像素模式。
允许预览是比较老的功能了，字面意思。
控制模式下的这三种模式具体什么作用，可看官方提供这张图，一眼就可看出。更接近control的图还是prompt的control力更强的区别。
Reference-Only Control
现在有一个不需要任何控制模型的预处理器。它可直接使用图像作为参考来引导扩散，图生图已经没意义了...
七、预处理器
认识Controlnet模型 命名规则
Canny 是一种经典的边缘检测算法，能够很好地识别出图像中的边缘信息，对于图像生成任务来说，可以帮助模型更好地生成具有清晰边缘的图像
处理图片的方式是将图片专为线稿，对于画面细节不复杂的图像来说很好；但处理复杂图像时，主体会容易被除主题元素以外的元素影响
细节刻画上，一种是分辨率越高，线条越清晰；阈值越少，对应的细节也越多
Canny 通过使用边缘检测器创建高对比度区域的轮廓来检测输入图像。线条可以捕捉到非常详细的信息，但如果你的图像背景中有一些物体，它很可能会检测到不需要的物体。所以背景中物体越少效果越好。用于此预处理器的最佳模型是 control_sd15_canny。
1.Canny硬边缘
2.Depth & Depth Leres深度
这个预处理器有助于生成输入图像的深度估计。深度通常用于控制图像内物体的空间定位。浅色区域意味着它离用户更近，而深色区域则离用户更远。
在大图像时它可能会丢失图像内部的细节（面部表情等）。一般会与 control_sd15_depth 模型组合使用。Midas Resolution 函数用于增加或减少 detectmap 中的大小和细节级别。它的级别越高，将使用更多的 VRAM，但可以生成更高质量的图像，反之亦然。
Depth Leres 有与 Depth 相同的基本概念，但在地图中包含更广泛的范围。但有时它会从图片中捕获了太多信息，可能会生成与原始图像略有不同的图像。所以最好先试用两种预处理器，然后决定哪一种。
3.HED (Holistically-Nested Edge Detection）
Hed 可以在物体周围创建清晰和精细的边界，输出类似于 Canny，它的有效性在于能够捕捉复杂的细节和轮廓，同时保留细节特征(面部表情、头发、手指等)。Hed 预处理器可用于修改图像的风格和颜色。用于此预处理器的最佳模型是 control_sd15_hed。
4.OpenPose姿态
这个预处理器生成了一个基本的骨骼火柴人形象。这种技术被广泛采用，因为多个 OpenPose 骨架可以组合成一个图像，骨架图有很多关节点，每个点代表如下图所示。
5.MLSD ( Mobile Line Segment Detection）直线
MLSD Preprocessor 最适合生成强有力的线条，这些线条能够检测出需要独特和刚性轮廓的建筑和其他人造作品。但是它不适用于处理非刚性或弯曲的物体。MLSD 适用于生成室内布局或建筑结构，因为它可以突出直线和边缘。用于此预处理器的最佳模型是 control_sd15_mlsd。
6.Lineart线稿
Lineart和canny是一对正反操作，前者对有分割，线条敏感，后者在意的是光影下的边缘。所以线稿很适合对原始线稿进行上色，很多场景下他们是相似的。
为此，专门有一个模型针对二次元处理线稿上色。Anime Lineart。
7.Soft Edge软边缘
与硬边缘相似，但又不同的是更适合边缘线不清晰，材质柔和，倒角平滑的轮廓。
8.Scribble涂鸦
涂鸦的目的是从简单的黑白线条画和草图生成图像。用户也可以使用“Canvas”选项创建特定大小的空白画布，用于手动素描（也可以直接上传图像）。如果草图和绘图由白色背景上的黑线组成，则需要选中“Invert Input Color”复选框。用于这个预处理器的最佳模型是 control_sd15_openpose。
9.Segmentation语意分割
分割预处理器检测并将上传的图像分割为同一图像内的段或区域。该模型在生成一组新的图像时，将 detectmap 图像应用于文本提示。用于此预处理器的最佳模型是 control_sd15_seg。
10.Shuffle随机洗牌
感觉更像是将元素特征从参考图中提取出来，然后赋予给生成的图。预处理和模型也都就一个。随机变化性很大。
11.Tile分块
这个模型可以用在很多方面。总体而言，该模型有两种行为:
1）忽略图像中的细节并生成新的细节。
2）如果局部tile语义和提示不匹配，则忽略全局提示，并使用局部上下文引导扩散。
由于该模型可以生成新的细节而忽略现有的图像细节，因此我们可以使用该模型去除不良细节并添加精细细节。例如，消除因图像大小调整而引起的模糊。
MJ的无限放大猜测用的就是这个模型的原理。
12.Inpaint局部重绘
和图生图的局部重绘撞车了！这个就比较好理解了。
13.Instruct Pix2Pix
这个好像连翻译都翻译不出来，☞定像素to像素？看文档，使用逻辑还很复杂，我也没有尝试过，不敢乱描述，感觉像能保留参考图的一部分像素，另一种局部重绘？
14.Reference-Only Control参考
这个是1.1的新功能，很强，能做到control又不control真的是参考的意义。
15.T2I-Adapter自适应
通过预处理器，我们可以得到色块处理结果，类似涂鸦的手绘处理结果，（风格会报错，大概还没准备好）整体上感觉仍然有点像图生图找风格的场景使用。
Normal map 法线
法线图使用了三种主要颜色(红、绿、蓝)，通过不同的角度来精确定位物体的粗糙度和光滑程度。它生成法线图可以保留相当多的细节，但可能会产生意想不到的结果，因为法线图完全来自图像，而不是在 3D 建模软件中构建的。
法线图有利于突出复杂的细节和轮廓，并且在定位对象方面也很有效，特别是在接近度和距离方面，设置一个更高的阈值可以移除背景的远处部分，降低阈值将命令 AI 保留甚至显示额外的背景元素。用于此预处理器的最佳模型是 control_sd15_normal。
预处理器与对应模型清单
参学直达：
31
Report
声明
129
Share
相关推荐
in to comment
Add emoji
喜欢TA的作品吗？喜欢就快来夸夸TA吧！
推荐素材
You may like
相关收藏夹
Log in
31Log in and synchronize recommended records
99+Log in and add to My Favorites
评论Log in and comment your thoughts
分享Share