解锁ComfyUI:新手到高手的五级跳

Recommanded by editor
广州/平面设计师/242天前/1504浏览
解锁ComfyUI:新手到高手的五级跳Recommanded by editor
ComfyUI全球爆红,以其强大的功能性和灵活性成为了创作者的新宠。但面对复杂的节点和连线,许多初学者可能会感到手足无措。别急,这篇文章将从新手的角度出发,详细解析学习ComfyUI的五个阶段,帮助你轻松驾驭这个强大的工具。
解锁ComfyUI:新手到高手的五级跳
Collect
第一阶段:“抄作业”式套用工作流
ComfyUI的工作流具有极高的可迁移性,可以导出、分享、加载,所有节点和参数皆可轻松复现。所以当你还不会制作复杂的工作流时,不妨先从“抄作业”开始。
工作流的加载方式主要有以下3种:
1.加载json配置文件
ComfyUI面板上的“Save”(保存工作流)按钮可以把工作流保存为json文件,同样,你可以通过“Load”(加载工作流)按钮读取网上下载的json文件,复现工作流。
2.把含有元数据的图片拖进ComfyUI
将ComfyUI或WebUI生成的图片拖到ComfyUI中,图片蕴含的工作流即被加载。
例图:带元数据的图片
例图:带元数据的图片
Collect
例图:带元数据的图片
例图:带元数据的图片
Collect
3.通过代码复制工作流
将代码全部选中复制,然后在ComfyUI中粘贴,工作流便被加载出来。
解锁ComfyUI:新手到高手的五级跳
Collect
以上3种“抄作业”的姿势,你都掌握了吗?
既然学会抄作业了,那优秀作业要到哪里找呢?首先,ComfyUI的开发者通过ComfyUI example站点分享了许多利用默认的节点功能搭建起来的工作流预设,包括图生图、局部重绘、高清修复、ControlNet生成等,还附有详尽说明,如果你想开始探索ComfyUI,建议先吃透这些自带工作流。
解锁ComfyUI:新手到高手的五级跳
Collect
其次,现在已经有非常多ComfyUI工作流的分享网站,一些模型网站也开辟了工作流分享专区。我也收集了不少工作流分享的实用站点,如果你也想保存一份,那不妨关注我,并在后台留言获取这些站点的地址。
第二阶段:自定义节点安装与报错处理
当你尝试加载一些看起来很酷炫的工作流时,可能会遇到满屏飘红、节点报错的问题,这通常是因为缺少对应的自定义节点。
解锁ComfyUI:新手到高手的五级跳
Collect
解锁ComfyUI:新手到高手的五级跳
Collect
ComfyUI的自定义节点,相当于WebUI里的扩展和插件,想要实现各种复杂的进阶功能,都得靠它们。因此,初学者玩ComfyUI必须要学会的一件事情,便是安装自定义节点。
安装自定义节点有两种方法:
1.通过Git Clone安装
首先,你需要在电脑上安装Git软件配置管理(SCM)应用(可通过官网下载),然后找到ComfyUI的本地根目录下的“custom_nodes”文件夹,在custom nodes文件夹的地址栏输入“cmd”,敲回车调出命令行,再输入“git clone”的命令以及节点的代码仓库地址,敲回车,就可以开始下载了。
解锁ComfyUI:新手到高手的五级跳
Collect
2.直接下载代码
找到节点的仓库页面,将代码文件压缩包下载,然后解压到custom_nodes文件夹里。
解锁ComfyUI:新手到高手的五级跳
Collect
我建议优先使用第一种方法,因为通过Git下载的节点会记录它的仓库和版本信息,日后可动态更新,而下载压缩包的形式置入的节点是离线的,如果有新版本需要手动再去下载。
无论选择哪种方式,安装完新节点以后,都要重启ComfyUI,再次进入界面以后,右键菜单便可看到安装的新节点。
目前几乎每一位ComfyUI用户都必装的一个节点,就是ComfyUI Manager。ComfyUI manager是由Dr.Lt.Data(@ltdrdata)开发并维护的,是专门用于管理ComfyUI节点的工具。赶快尝试运用刚才介绍的方式把ComfyUI Manager装上吧。这里附上ComfyUI Manager的仓库地址:
github.com/ltdrdata/ComfyUI-Manager
安装完毕,重启ComfyUI以后,角落的菜单里便多了一个“Manager”的按钮,点开它,这就是Manager的功能菜单界面了。
解锁ComfyUI:新手到高手的五级跳
Collect
ComfyUI Manager 有两个最常见的用途,分别是搜索安装节点,和自动安装缺失节点。
首先是搜索安装节点。点击“自定义节点管理”(Custom Nodes Manager),它会加载一个自定义节点列表,你还可以自由搜索并安装你想要的节点。
解锁ComfyUI:新手到高手的五级跳
Collect
当然,这还不是它最厉害的地方,很多人喜欢manager,是因为它具备一个超级省事的功能:自动安装缺失节点。当发生节点缺失的情况时,打开Manager的标签,点击“安装缺失节点”(Install Missing Custom Nodes),它就会自动读取缺失节点,并在线匹配节点。你只需要一个个地点击安装这些节点,把它们都装上就可以了。
解锁ComfyUI:新手到高手的五级跳
Collect
第三阶段:了解逻辑和工作原理
这一阶段,你需要深入了解ComfyUI的节点原理和工作流的运行逻辑。ComfyUI是更能揭露SD本质的一个运行界面,钻研它对加深AI绘画工具的底层逻辑理解是有非常大帮助的。
我以ComfyUI默认的文生图工作流为例,分解一下这个最基本的工作流,包含了哪些功能部件,以及它们是如何运行的。
主要分为三个模块:条件输入模块、潜空间模块、像素空间模块。
解锁ComfyUI:新手到高手的五级跳
Collect
首先是条件输入模块,包含大模型选择、正负面提示词填写、图片分辨率设定。然后是整个工作流的核心节点:KSampler(K采样器),就是潜空间模块。所谓潜空间,简单来说就是AI处理图像的空间。K采样器会根据前面的条件输入模块的要求,通过不断加噪去噪的过程生成符合要求的图像,但这个图像在潜空间里面还不能直接展示出来,需要通过VAE解码这个节点,把潜空间的图像转变成最终像素空间的图像,这个才是我们最终看到的结果。
解锁ComfyUI:新手到高手的五级跳
Collect
第四阶段:深入研究进阶工作流
在理解了ComfyUI的工作原理后,我们就可以更轻松地看懂其他工作流了,大部分工作流都是遵循一样的运行逻辑的。
想不想检验一下自己对工作流运行逻辑的掌握程度?我们就以ComfyUI的开发者分享的几个典型工作流为例,做一个拆解。
高清放大 典型工作流拆解
(1)Hires fix-Latent
把“Hires fix-Latent”工作流拖进ComfyUI,你就可以得到一个标准的文生图高清修复工作流程了。可以看到,这个工作流结构非常简单,无非就是在常规的文生图流程后面增加了一个KSampler。
解锁ComfyUI:新手到高手的五级跳
Collect
左侧的节点组包含:一个模型加载器,两个正负面提示词编码器,一个KSampler,和一个设定生成尺寸的空白潜空间图像(Empty Latent)节点。
我们在最左边输入的信息,除了被输送进第一个KSampler生成一张低清的图片,还输入到了后面这个Upscale Latent(潜空间放大)组件里。(Upscale Latent是一个在潜空间里对图像尺寸进行缩放的基本节点,另一个版本是Upscale Latent by,可以按倍数放大或缩小。)通过Upscale Latent放大后的图像会输入到第二个KSampler,最终再一次经过解码、保存,就得到了高清修复后的大图了。
(2)Hires fix-Esrgan
这是借助ESRGAN等传统放大模型来实现高清修复的工作流,比起Latent放大,它中间的结构就显得复杂多了。
解锁ComfyUI:新手到高手的五级跳
Collect
第一次采样的结果,会先经过一次解码输出成一张图片,然后再把这张图片输出到“Upscale Image(using Model)”(使用模型放大),而在这个Upscale Image(using Model)节点的前面,还必须先使用一个“Load Upscale Model”(放大模型加载器),加载一个超分辨率模型。经过放大器处理以后的图片,再通过“Upscale Image”(放大图片)的节点调整到最终尺寸。最后,由“Upscale Image”输出的图片进入到VAE编码节点里重新转换成Latent数据进行采样。
简单来说,就是在先生成一张图片的基础上,使用专门的超分辨率放大模型,对图片进行高清放大处理。
局部重绘 典型工作流拆解
把“inpaint_example”这张图片拖进ComfyUI,就会得到一个基本的重绘工作流程:
解锁ComfyUI:新手到高手的五级跳
Collect
我们很快会发现,这个工作流好像没有地方给我们画蒙版,那怎么让AI知道哪里是要重绘的呢?其实,ComfyUI的蒙版功能非常隐蔽,你需要右键点一下这张图片,在菜单里找到“Open in MaskEditor”(在蒙版编辑器里打开),它会开启一个图片编辑窗口来画蒙版。
解锁ComfyUI:新手到高手的五级跳
Collect
解锁ComfyUI:新手到高手的五级跳
Collect
图片加载器节点的右侧有两个端口,一个是输出图片信息的,另一个就是输出蒙版信息的。图片加载器的下一个节点叫VAE Encode,和普通的VAE编码器不一样,它是专门为重绘服务的(For Inpainting)。VAE Encode的左侧除了图片、VAE的输入以外,还多了一个蒙版的输入,你可以把它的作用理解为根据蒙版的指示只对蒙版区域做编码,从而控制只在蒙版里做重绘。后面的流程就和普通的图生图没有任何区别了。
解锁ComfyUI:新手到高手的五级跳
Collect
第五阶段:创建自己的工作流
折腾了一段时间,我们对ComfyUI的学习算是步入了入门阶段,接下来是你和别人拉开差距的重要一环了,就是开始针对具体的工作和需求,量身定制工作流。关于如何创建工作流的详细内容,我将在后续文章中分享。
现在,你知道自己处于哪个学习阶段了吗?欢迎在评论区留言分享你的经验。
如果你对ComfyUI感兴趣,不妨关注我,
一起探索AI创作的无限可能。
30
阅读原文
|
Report
|
102
Share
相关推荐
评论
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
You may like
CandleTown-蜡烛镇
Homepage recommendation
IP形象——十二牛马
Homepage recommendation
相关收藏夹
AI人工智能
AI人工智能
AI人工智能
AI人工智能
作品收藏夹
AI设计
AI设计
AI设计
AI设计
作品收藏夹
AI绘图知识
AI绘图知识
AI绘图知识
AI绘图知识
作品收藏夹
111
111
111
111
作品收藏夹
AI
AI
AI
AI
作品收藏夹
AI
AI
AI
AI
作品收藏夹
大家都在看
Log in