最适合设计师的Flux基础工作流教程讲解(上)

用户头像
西安/UI设计师/337天前/6156浏览
最适合设计师的Flux基础工作流教程讲解(上)
大家好,我是三石。
最近发现大家对Flux模型及其ComfyUI工作流不太清楚,不知道跟SDXL、SD1.5的区别是什么,也不太清楚工作流的基础搭建和SDXL这类的工作流的区别,包括后面的ControlNet的搭建,感觉晕晕的。
现在我将通过上下两篇文章帮助大家更好地理解Flux模型和工作流的搭建,并共安排8个典型的工作流搭建方法(上下两篇),如文生图、图生图、放大、遮罩重绘、物品替换、风格迁移等。让大家迅速适应并熟悉Flux的工作流搭建方法,为后续的学习打好夯实的基础!
本篇我们将学习flux模型解析和4个基础工作流:
  1. 什么是Flux模型?
  2. 和SDXL、SD1.5模型的区别
  3. Flux基础文生图工作流搭建
  4. Flux基础图生图工作流搭建
  5. Flux基础局部重绘工作流搭建
  6. Flux高清放大修复工作流搭建
1.什么是Flux模型?
Flux模型是由黑森林团队(Black Forest Labs)于2024年8月推出的最新一代的文生图大模型,特点就是分辨率高、提示词精准和识别能力强。目前是业内开元大模型的标杆。当然,现在QWEN已经出来了,后续有机会可以给大家做个模型之间的比较。下方是FLUX模型生成的一些图片,我们看下实际出图效果,会发现在细节上会比SDXL等老版本的模型表现更加出色,光感和材质的质感也表现的很出色。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyMjg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX出图效果
收藏
所以我强烈建议大家使用最新的模型来出图,虽然后面的ComfyUI工作流在搭建上有些许的差异,但是还是值得我们使用的。那FLUX的模型在哪里下载呢?
截止目前,Flux模型有三大版本,分别是FLUX.1(pro)、FLUX.1(dev)和FLUX.1(schnell)三个大版本。之间的差别如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyMzI=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX三个版本模型的差异
收藏
此外,FLUX模型对文字的理解能力也很强,比如我输入提示词:
"Under the sea, four large letters 'LOVE' floating in clear seawater, each letter with a smooth, semi-transparent surface reflecting sunlight filtering through the water, surrounded by small bubbles and shimmering particles, soft light rays penetrating from above, creating a dreamy and romantic atmosphere, digital art style, hyper-detailed, vibrant colors, realistic water texture, 8K resolution"。
得到下面这张图,不会出现不理解文字的情况。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyMzY=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
Flux对文字的理解
收藏
大家如果想下载模型的,可以登录HugggingFace官网的Black Forest Labs 主页进行下载,如下图。如果本地电脑配置低,也建议大家用在线ComfyUI平台运行,好处就是不用自己费劲装模型。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyNDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX模型下载
收藏
还有一点就是大家别忘了下载Flux的专属VAE模型,如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUzNjQ=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
VAE模型下载
收藏
2.与SDXL和SD1.5模型的区别
既然Flux模型这么强,那我们有必要了解它为什么这么强?原因是什么?知道了底层原理,我们对模型才能真正摸透,而不是停留在表面山的理解。
我们都知道,大模型的训练需要先学习,比如我想生成猫的图片,那首先需要让计算机先学习几百张猫的图片,然后我们给这些图片“打标签”,再转换成计算机能理解的语言,这是一个基础的模型学习和训练过程,但真实情况远比这复杂的多(涉及很多技术和算法知识)。
所以学习的数量和质量就尤为关键。在网上我大概了解到:
SD1.5模型大概有4.2亿参数,而Flux有120亿参数。
那学的数量多,自然出图的效果好。而且,SD1.5的训练图片尺寸是512*512,而SDXL的训练图片尺寸是1024*1024, FLUX也是1024*1024,因此,我们会发现SDXL和Flux的出图效果要比SD1.5好很多,也清晰很多。在提示词的理解能力上,Flux基于多模态架构,能够理解多模态指令,所以对提示词的理解能力更强。
关于这三个模型的差异,大家可以看下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTYxMDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
三个模型的区别
收藏
3.
Flux基础文生图工作流搭建
了解了Flux模型的优势及与其它模型的差异,我们现在就可以着手开始搭建最基础的Flux文生图工作流了。与传统的SDXL的文生图工作流不同的是,Flux模型中没有CLIP和VAE,所以我们需要将原来的【Checkpoint加载器】节点变成三个不同的节点来组合使用,如下图所示。在【Checkpoint加载器】中有三个输出,分别是MODEL、CLIP和VAE,换到FLUX,就需要分别加载【UNet加载器】、【双CLIP加载器】和【加载VAE】三个节点。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTYxMDg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
收藏
第二个差异点是Flux不需要负面提示词,所以原来SDXL这些模型的CLIP输入需要输入正向、负向两段提示词,现在换到Flux,只需要输入正向提示词。因此我们还需要用到【条件零化】节点,将负向提示词直接零化掉。再连接到K采样器即可,如下图。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTY3Mjg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
收藏
第三个差异点是再【CLIP文本编码器】和【K采样器】之间,还多了一个【Flux引导】节点。这
个节点其实是代替了【K采样器】里面的“cfg”
。【Flux引导】的数值对画面的影响还是比较大的,引导系数越大,图像和提示词的匹配度越高,但是缺乏艺术表现力;反之,数值越小,出图更有创意。
简单说,【Flux引导】就是告诉模型我这张图片到底需要有多听提示词的话。
我们可以做个简单的测试,输入以下提示词(提示词来自网络,仅为参考):
Surreal 4k painting of a beautiful alien princess with expressive lilac eyes and cosmic features. Her skin appears to be composed of intertwined bioluminescent particles, surrounded by neon lights and floating, colorful orbs in a fantastical forest environment, with exotic animals creating a mesmerizing and otherworldly atmosphere, cinematic composition.
翻译:这幅超现实的4K画作描绘了一位美丽的外星公主,她有着富有表现力的淡紫色眼睛和宇宙般的五官。她的皮肤似乎由相互交织的生物发光粒子构成,周围环绕着霓虹灯和漂浮的彩色球体,周围是奇幻的森林环境,珍奇的动物营造出一种令人着迷的、超凡脱俗的氛围,如同电影般的构图。
我们分别设置Flux引导系数为2.5、3.5、10、20,得到的画面如下图,
发现提示词越小,画面会整体显得灰暗,过大则会缺少艺术表现力,所以建议大家使用默认值3.5即可
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTcwNDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
Flux不同引导系数的差异
收藏
最后一个差异点就是在【K采样器】中,我们需要把“cfg”的数值调整为1。cfg的意思是对提示词的契合度,因为前面已经有【Flux引导】来代替“cfg”了,所以【K采样器】里的“cfg”需要设置为1,也就相当于“禁用cfg”了。
到这里,我们就将Flux模型在ComfyUI中的基本文生图工作流搭建结束了。如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTcwODA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX文生图工作流
收藏
4.
Flux基础图生图工作流搭建
了解了Flux的文生图工作流,图生图工作流就比较简单了,跟SD的图生图工作流是一样的,我们只要把上传的图片先通过【VAE编码】连接到【K采样器】的“latent_image”(也就是潜在空间),再设置“降噪”数值为0.8左右即可,这样相当于告诉模型80%参考提示词,20%参考图片,所以出图结果会更偏上传的图片,如下图所示。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTcwODg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
flux图生图工作流
收藏
当然,我们还可以通过提示词反推节点来获得跟原图类似的结果,这里用到的节点是【Joy Caption Two】,如下图,我们将上传的图片给到【Joy Caption Two】输出提示词,再将提示词输入给【CLIP文本编码】。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc2NDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
提示词反推节点
收藏
其余连接保持不变,这样我们就能得到一张跟原图类似的图案,如下图。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc2NDQ=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
出图结果
收藏
5.
Flux基础局部重绘工作流搭建
局部重绘工作流需要用到【Detailer (SEGS)】局部细化节点来替代【K采样器】,然后用【MASK to SEGS】遮罩到Seg来将需要重绘的部分给到【Detailer (SEGS)】的“Seg”,如下图所示。需要注意的是在【Detailer (SEGS)】节点中,也需要将“cfg”数值调为1,并且将“denoise”数值下调。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3MTI=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
局部重绘节点
收藏
最后在【CLIP文本编码】中输入想要替换的内容,如下图,我想将女孩的头发变成红色,就要输入“red hair”。如下图,这里我把“denoise”降噪设置为了0.95。如果设置为1的话,相当于100%参考提示词,最终出图的头发会完全变成另外一个样子,如下图2。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3MTY=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
局部重新绘制 denoise=0.95
收藏
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3MjA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
denoise=1
收藏
6.Flux高清放大修复工作流搭建
最后给大家分享的是Flux的高清放大修复,该工作流跟SD的高清放大差不多,都是用到【Ultimate SD Upscale】节点,在文生图中,只需要把该节点连接到【K采样器】后面就可以了,连接方式也比较简单,该节点中虽然参数很多,但是需要了解的只有“upscale_by”、“cfg”、“scheduler”和“denoise”四个参数,它们的作用分别是:
upscale_b:放大倍数
cfg:跟采样器中一样,设置为1
scheduler:跟采样器中一样,设置为simple
denoise:重绘幅度,默认0.2
下图是放大前后的对比,可以看出,发丝、盔甲等细节都比放大前要清晰很多。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3NTY=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
放大前后效果对比
收藏
整个工作流如下:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3NjA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
文生图高清修复放大工作流
收藏
在图生图中,我们也可以使用【Ultimate SD Upscale】节点将图片进行高清放大修复,搭建的流程差不多,但是不需要【K采样器】了,直接连接到【Ultimate SD Upscale】节点就行。然后在【CLIP文本编码器】中输入一些关于质量的词汇,如:high quality, detailed, highly detailed, hd, 8k , 4k, sharp
整个工作流如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTgxMTI=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
图生图高清修复放大工作流
收藏
总结:
ok,今天的分享到这里就结束啦,本篇文章主要帮助大家从0-1熟悉Flux模型和之前模型的差异点,并分享了flux模型基本工作流的搭建方法,包括文生图、图生图、局部重绘、高清放大。不难发现,工作流中很多节点和之前的SDXL、SD1.5没有太大改变,只是在模型加载和提示词调整这两部分有些许的变动,所以大家不用担心Flux的上手难度会很大。了解了原理之后,我觉得反而比之前的工作流更精简、也更容易理解了。
下一篇文章,我会和大家分享Flux的进阶工作流,包括换背景、万物迁移、风格迁移、修复手型等工作流,期待一下吧。
谢谢!
喜欢我的可以关注下哦,坚持输出AIGC普惠知识,让设计师AI不迷路。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTgxMjA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
收藏
142
举报
|
247
分享
相关推荐
评论
用户头像
评论你的想法~
表情
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
你可能喜欢
相关收藏夹
大家都在看
登录注册