ComfyUI超实用SDXL工作流手把手搭建

Recommand
上海/插画师/1年前/3224浏览
ComfyUI超实用SDXL工作流手把手搭建Recommand
枯卜
前言
Stable Diffusion XL 是 Stable Diffusion v1.5 的进阶版本,它与之前的版本相比,主要有以下几个特点:
  • 能生成更高质量的图片   
  • 图片的细节更丰富         
  • 能理解更复杂的 prompt 
  • 支持生成更大尺寸的图片
这一期我们要分享的是SDXL完整工作流,说到SDXL和我们之前的1.5模型是最大的区别就是体量的不同,造成整个生成过程当中有两个方面需要考虑和调节;
一、Refined模型
1.1 基础介绍
基础介绍
基础介绍
Collect
  • 标准的SDXL有两个模型,一个base模型一个Refined模型,需要设计到双重采样或者二次采样;
  • 因为整个空间(CLIP空间)不一样,所以在提词方面可以做出很细微的切分和分类
1.2 采样器
采样器
采样器
Collect
  • 第二步,ctrl+c复制(ctrl+shift+v粘贴后是会携带连接关系的),这样我们只要把第一次渲染出来的图像给到第二次,再重新加载一个Refined模型(这里只需要一个正面提示词调节一下即可)如果为了统一也可以直接提升为变量
  • 这就是一个简单的逻辑,但到这里它的渲染并不是特别的精确,所以说我们呢接下来要说下高级渲染器
1.3 噪波添加
噪波添加
噪波添加
Collect
  • K采样器(高级)是比较精确的一个分布渲染
  • 噪波是默认添加的(如果要二次渲染则不要添加)
  • 这里我们复制一份,左边是第一次渲染,右边是第二次渲染,就是连续两次渲染的过程
1.4 采样器替换
采样器替换
采样器替换
Collect
  • 其实学习SDXL流程是让我们理解如何准确的进心一个步数的分割以及不同模型的融合采样,也就是我们的二次精炼,它不仅仅适用于SDXL也适用于1.5模型
  • 我们接着完成一下这个工作流,只要把K采样器(高级)替换之前的简单采样器,再简单的连接一下我们简单的一个SDXL的Refined二次精炼的一个简单流程就差不多了
二、SDXL风格化提示词
2.1 SDXL Prompt Styler插件
SDXL Prompt Styler插件
SDXL Prompt Styler插件
Collect
  • 下面我们要说的就是对于提词而言我们需要有个什么样的加工方式,但在这之前要继续跟大家分享一个风格化插件(外部UI里提供现成风格)
  • 在ComfyUI中也有这门一个插件,搜索SDXL或者styler
  • 此时我们会看到两个Styler,第一个是我们标准的SDXL Prompt Styler,第二个是拓展版本,会比第一个多一些小功能,但基本道理和使用方法都相同,这里我们直接安装即可
2.2 json文件结构
json文件结构
json文件结构
Collect
  • 选择了某种风格后会调用固定json文件,就不需要输入跟风格、质量有关的提词了,只要输入主题即可
  • 我们这里来了解一下文件结构,首先我们依旧在comfyUI文件夹中找到sdxl_prompt_style文件夹,可以看到有不同风格的json文件
2.3 SDXL风格化提示词插件
SDXL风格化提示词插件
SDXL风格化提示词插件
Collect
  • 我们随便点开一个就可以看到其中的结构,包含名称、提示词等
  • 如果我们向创建自己的json文件就可以模仿这个固定的生成模式,文件中的base文件就是给我们创建好的格式,我们可以在这个格式上进行创建和修改
  • 我们还可以看到基础的只有一个正向一个负项提示词(和我们普通流程相同)高级版,高级版的输入和输出就会多出很多
2.4 SDXL提词结构
SDXL提词结构
SDXL提词结构
Collect
  • 关于高级版这里我们就涉及到一个SDXL的提词结构了
  • 我们先看向提词G和L还有负面条件G和负面条件L,它们可以清晰的帮我们分出画面中想要的东西从而细致的调节一些东西
  • 先说正面输出的G和L:
    L相当于我们的Tag模式(我们先要确认图像中有什么比如一个人、一棵树)主要形容的是名词,就是一个Tag需要详细描述的概念
    G则更适合详细描述概念,可以简单的理解,L是名词的话,G就是形容词(L如果是一个女生,G就是形容这个女生的五官发型等;如果L是牛仔裤,G就是牛仔裤颜色等)
    G更适合形容概念
  • 这里我们先生成一张图像,可以看到其中有车、房屋、人这些就是画面中的tag,当我们需要具体形容样式颜色就需要用到SDXL风格化提示词(高级)
2.5 高级工作流实现
高级工作流实现
高级工作流实现
Collect
  • 对于负面提示词来说道理相同,但我们通常不会特别清晰描述负面提示词,大多数是沿用原先的负面,或者根据画面调整排除我们不想要的内容
  • 当我们尝试把正面/负面条件接入时会发现无法接入,这里是因为翻译问题,转为因为会发现显示的是text_positive,也就是说是文本,只不过是文本形式的正向条件,还没进行CLIP编码
  • 我们需要处理的就是把CLIP文本编码器提升为变量,这时候就可以正常连接了到这里我们的工作流其实就基本完成了,下一篇会加入风格化插件
三、SDXL工作流搭建
3.1 风格化插件替换
风格化插件替换
风格化插件替换
Collect
  • 这里我们用很简单的提词就能得到不错的图像,同样是一艘船一个是带了风格的,一个是没带风格的,差距就是额这么明显,下图是选用了电影风格
  • 接着我们说到SDXL风格化提示词(高级)流程
3.2 SDXL风格化提示词(高级)流程
SDXL风格化提示词(高级)流程
SDXL风格化提示词(高级)流程
Collect
  • 既然我们采样器这里已经用了高级了,那么我们就把流程整体升级一下
  • 我们先删除原来的文本编码,然后替换成高级的,这里我们可以考到两个针对SDXL的CLIP文本编码
  • CLIP其实也算是视觉编码的一个空间,CLIP空间是实际图像分辨率2-4倍
3.3 数学表达式
数学表达式
数学表达式
Collect
  • 我们延展的来做一个节点运算,因为我们要根据Latent数字来进行倍数放大,首先从空Latent中拖出一个数学表达式节点
  • 这里我们就可以把Latent数据传输到表达式中,在表达式中可以根据数据取它的宽度
  • 例如我们取它的宽度(1024),在当中填写4倍:a.width*4取出的值就是4096
  • 这里算是ComfyUI相关底层的知识了,我们只需要大概了解皆可,大部分过程中是很少涉及的,和程序有点相似,因为节点就是一个半开发的框架,为了大家更多的去理解,方便未来去流程化处理
3.4 数学表达式数据传递使用
数学表达式数据传递使用
数学表达式数据传递使用
Collect
  • 这里我们直接把表达式的整数传给CLIP文本编码即可,这样我们就定义了CLIP文本本身的一个参数,我们乘2乘4都可以任意
  • 这里目标宽高度,我们就可以以同样的方式传递给采样器,当然也可以默认1024省事的处理下,之后再遇到全流程自动化再规范逻辑
3.5 变量与风格化提示词连接
变量与风格化提示词连接
变量与风格化提示词连接
Collect
  • 正面条件就是我们所有的文本G+L,同理我们再复制一份连接负面条件
  • 其实这里两个对于负面条件都是相同的,我们也可以给一个简单的编码器直接走负面文本连接即可
  • 说到这里我们还有一个选项是负面词应用,这里我们可以单独把负面应用给到G或者L由或者都可以,通常我们选择Both
  • 最后是Refiner的一个优化,这里我们就直接来凝结正面条件不分g/l,在连接Refiner的模型CLIP,另一边输入到二次采样中去
3.6 完整SDXL高级工作流
完整SDXL高级工作流
完整SDXL高级工作流
Collect
  • 到这里我们SDXL的一套高级工作流基本完成了且都采取了高级节点和详细定制
3.7 SDXL工作流整合
SDXL工作流整合
SDXL工作流整合
Collect
  • 我们把G和L提升为变量,并添加了翻译插件,进行了一个单独节点的翻译和输入
  • 最后采样给了两个统一的变量,一个步数变量,一个转换变量,因为采样器的步数和转换步数都是一致共用的,只不过连接的接口不一样
后记
这就是我们对SDXL整个模型所需要的一些完整设置,以及它所涉及的相关内容讲解。
这部分内容是想让大家明白整个工作流该如何构建,理清思路和逻辑。
大家也可以积极尝试去让工作流有更多的一些变化。
6
Report
|
22
Share
相关推荐
评论
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
You may like
Logo Design
Homepage recommendation
相关收藏夹
comfyui
comfyui
comfyui
comfyui
作品收藏夹
SD
SD
SD
SD
作品收藏夹
comfyUI
comfyUI
comfyUI
comfyUI
作品收藏夹
AIGC
AIGC
AIGC
AIGC
作品收藏夹
aigc
aigc
aigc
aigc
作品收藏夹
1
1
1
1
作品收藏夹
大家都在看
Log in