深度解析｜sd1.5、sdxl、checkpoint、lora 含义与原理

大家好，我是三石（dan），接触AI绘画以来，发现很多时候对一些基础词汇理解地很模糊，然后在搭建comfyui工作流时，只能知其然，不知其所以然的感觉，也不知搭选哪个模型，很多时候都是照猫画虎地模仿，很难受。而且，很多时候，网上找不到详细地教程来详细解释这些含义。

好在我周围有很多算法同学，在跟他们交流中，对一些基础词汇有了比较深刻的了解，在这里做了个分享。

今天给大家分享的是 stable diffusion中的一些基础问题，主要分两块：

放轻松，我会通过设计师的视角帮大家更好地理解。

为什么会出现这个问题，是因为每次在浏览网站时，左上角的xl，lora等搞得我莫名其妙，云里雾里。一会儿1.0，一会儿1.5，一会儿XL，不明所以。

经过我一番研究，发现是这么回事：sd是stable diffusion的缩写，后面的后缀其实是各个版本的称号；

每个版本都比之前的版本生图质量更好，学习的图片数量也更多。接下来就给大家简单做个区分：

简单理解就是SD的每一个版本都比之前的版本 训练的步数更多，出图的质量更好。

那这么多版本，我应该下载哪个版本最合适呢？这里我推荐大家下载sd1.5和sdXL这两个版本，因为1.5版本生态最繁荣，sdXL 出图质量最好，画面表现高，但是占用显存略高，训练速度慢。

如果大家现在手里还没有这两个模型，可以点击下方链接进行下载：

可以底部评论来联系我获取。

梳理了stable diffusion各版本之后，接下来帮大家理解checkpoint和lora的含义和不同；

Checkpoint是深度学习中常用的一个术语，用于描述在每次训练后保存模型参数（权重）的惯例。类似于游戏中保存关卡的功能，Checkpoint允许我们在训练过程中保存模型的状态，以便之后可以加载这些保存的参数并继续训练或进行推理。

简单理解的话，checkpoint就是在stable diffusion底模的基础上，再次训练得到特定风格的，更适合生成某种调性图片的模型。

所以我们可以在liblib上看到很多的checkpoint，这些都是在底模的基础上再次训练得到的。

每种checkpoint都可以在详情页中看到基础模型的版本，看下图：

这个大家要注意了。controlnet跟模型的版本是一一对应的，如果checkpoint的版本和controlnet模型版本不一致，就会报错，因为训练的图片尺寸不一样。

报错信息如下：

lora（Localized Refinement of Attributes）不同于checkpoint，lora可以看成是在基础模型生成的图片上，加了一层“滤镜”，达到切换风格的效果。因此他的体积很小，只有几百MB，受到很多小伙伴的青睐，毕竟一般人没有那么大的算力和时间去训练一个checkpoint，但是训练一个lora只要几个小时，而且要的训练素材也很少，优势很大，非常吸引人。

我们可以把lora理解成lol中的皮肤，原始的皮肤是大模型，后续的皮肤就是lora，lora可以改变英雄的服装，姿态，但是主要框架是不变的。所以说lora技术是一种轻量化的模型微调训练方法

我们可以在很多网站上下载不同风格的lora，大家可以看我之前的一篇文章去找到网站下载链接：

有时候大家会遇到一个问题，就是lora出来的图片效果没有网站发布的案例好看，可能是因为没有选对底模的原因。

或者是没有输入触发词：

如果大家仔细看过上面的内容，不难理解两者的区别：

最后怎么在comfyui中选lora，需要在“新建节点”下找到“加载器”，再找到“lora加载器”：

然后再lora节点中选择自己已经下载好的lora就可以啦

lora文件的存储位置在：models下的loras中，关于安装等问题，大家可以看下我之前的一篇文章：

今天的分享到这里就结束了，通过这篇文章，希望大家能更好的理解sd各版本的差异和lora的使用，了解了这些基础知识之后，可以帮助大家更快地上手comfyui。

最后祝愿大家能一下子就生成自己心目中的那张图，谢谢！