最适合设计师的Flux基础工作流教程讲解(上)

用户头像
西安/UI设计师/1年前/6249浏览
最适合设计师的Flux基础工作流教程讲解(上)
大家好,我是三石。
最近发现大家对Flux模型及其ComfyUI工作流不太清楚,不知道跟SDXL、SD1.5的区别是什么,也不太清楚工作流的基础搭建和SDXL这类的工作流的区别,包括后面的ControlNet的搭建,感觉晕晕的。
现在我将通过上下两篇文章帮助大家更好地理解Flux模型和工作流的搭建,并共安排8个典型的工作流搭建方法(上下两篇),如文生图、图生图、放大、遮罩重绘、物品替换、风格迁移等。让大家迅速适应并熟悉Flux的工作流搭建方法,为后续的学习打好夯实的基础!
本篇我们将学习flux模型解析和4个基础工作流:
  1. 什么是Flux模型?
  2. 和SDXL、SD1.5模型的区别
  3. Flux基础文生图工作流搭建
  4. Flux基础图生图工作流搭建
  5. Flux基础局部重绘工作流搭建
  6. Flux高清放大修复工作流搭建
1.什么是Flux模型?
Flux模型是由黑森林团队(Black Forest Labs)于2024年8月推出的最新一代的文生图大模型,特点就是分辨率高、提示词精准和识别能力强。目前是业内开元大模型的标杆。当然,现在QWEN已经出来了,后续有机会可以给大家做个模型之间的比较。下方是FLUX模型生成的一些图片,我们看下实际出图效果,会发现在细节上会比SDXL等老版本的模型表现更加出色,光感和材质的质感也表现的很出色。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyMjg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX出图效果
收藏
所以我强烈建议大家使用最新的模型来出图,虽然后面的ComfyUI工作流在搭建上有些许的差异,但是还是值得我们使用的。那FLUX的模型在哪里下载呢?
截止目前,Flux模型有三大版本,分别是FLUX.1(pro)、FLUX.1(dev)和FLUX.1(schnell)三个大版本。之间的差别如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyMzI=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX三个版本模型的差异
收藏
此外,FLUX模型对文字的理解能力也很强,比如我输入提示词:
"Under the sea, four large letters 'LOVE' floating in clear seawater, each letter with a smooth, semi-transparent surface reflecting sunlight filtering through the water, surrounded by small bubbles and shimmering particles, soft light rays penetrating from above, creating a dreamy and romantic atmosphere, digital art style, hyper-detailed, vibrant colors, realistic water texture, 8K resolution"。
得到下面这张图,不会出现不理解文字的情况。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyMzY=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
Flux对文字的理解
收藏
大家如果想下载模型的,可以登录HugggingFace官网的Black Forest Labs 主页进行下载,如下图。如果本地电脑配置低,也建议大家用在线ComfyUI平台运行,好处就是不用自己费劲装模型。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUyNDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX模型下载
收藏
还有一点就是大家别忘了下载Flux的专属VAE模型,如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTUzNjQ=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
VAE模型下载
收藏
2.与SDXL和SD1.5模型的区别
既然Flux模型这么强,那我们有必要了解它为什么这么强?原因是什么?知道了底层原理,我们对模型才能真正摸透,而不是停留在表面山的理解。
我们都知道,大模型的训练需要先学习,比如我想生成猫的图片,那首先需要让计算机先学习几百张猫的图片,然后我们给这些图片“打标签”,再转换成计算机能理解的语言,这是一个基础的模型学习和训练过程,但真实情况远比这复杂的多(涉及很多技术和算法知识)。
所以学习的数量和质量就尤为关键。在网上我大概了解到:
SD1.5模型大概有4.2亿参数,而Flux有120亿参数。
那学的数量多,自然出图的效果好。而且,SD1.5的训练图片尺寸是512*512,而SDXL的训练图片尺寸是1024*1024, FLUX也是1024*1024,因此,我们会发现SDXL和Flux的出图效果要比SD1.5好很多,也清晰很多。在提示词的理解能力上,Flux基于多模态架构,能够理解多模态指令,所以对提示词的理解能力更强。
关于这三个模型的差异,大家可以看下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTYxMDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
三个模型的区别
收藏
3.
Flux基础文生图工作流搭建
了解了Flux模型的优势及与其它模型的差异,我们现在就可以着手开始搭建最基础的Flux文生图工作流了。与传统的SDXL的文生图工作流不同的是,Flux模型中没有CLIP和VAE,所以我们需要将原来的【Checkpoint加载器】节点变成三个不同的节点来组合使用,如下图所示。在【Checkpoint加载器】中有三个输出,分别是MODEL、CLIP和VAE,换到FLUX,就需要分别加载【UNet加载器】、【双CLIP加载器】和【加载VAE】三个节点。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTYxMDg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
收藏
第二个差异点是Flux不需要负面提示词,所以原来SDXL这些模型的CLIP输入需要输入正向、负向两段提示词,现在换到Flux,只需要输入正向提示词。因此我们还需要用到【条件零化】节点,将负向提示词直接零化掉。再连接到K采样器即可,如下图。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTY3Mjg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
收藏
第三个差异点是再【CLIP文本编码器】和【K采样器】之间,还多了一个【Flux引导】节点。这
个节点其实是代替了【K采样器】里面的“cfg”
。【Flux引导】的数值对画面的影响还是比较大的,引导系数越大,图像和提示词的匹配度越高,但是缺乏艺术表现力;反之,数值越小,出图更有创意。
简单说,【Flux引导】就是告诉模型我这张图片到底需要有多听提示词的话。
我们可以做个简单的测试,输入以下提示词(提示词来自网络,仅为参考):
Surreal 4k painting of a beautiful alien princess with expressive lilac eyes and cosmic features. Her skin appears to be composed of intertwined bioluminescent particles, surrounded by neon lights and floating, colorful orbs in a fantastical forest environment, with exotic animals creating a mesmerizing and otherworldly atmosphere, cinematic composition.
翻译:这幅超现实的4K画作描绘了一位美丽的外星公主,她有着富有表现力的淡紫色眼睛和宇宙般的五官。她的皮肤似乎由相互交织的生物发光粒子构成,周围环绕着霓虹灯和漂浮的彩色球体,周围是奇幻的森林环境,珍奇的动物营造出一种令人着迷的、超凡脱俗的氛围,如同电影般的构图。
我们分别设置Flux引导系数为2.5、3.5、10、20,得到的画面如下图,
发现提示词越小,画面会整体显得灰暗,过大则会缺少艺术表现力,所以建议大家使用默认值3.5即可
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTcwNDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
Flux不同引导系数的差异
收藏
最后一个差异点就是在【K采样器】中,我们需要把“cfg”的数值调整为1。cfg的意思是对提示词的契合度,因为前面已经有【Flux引导】来代替“cfg”了,所以【K采样器】里的“cfg”需要设置为1,也就相当于“禁用cfg”了。
到这里,我们就将Flux模型在ComfyUI中的基本文生图工作流搭建结束了。如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTcwODA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
FLUX文生图工作流
收藏
4.
Flux基础图生图工作流搭建
了解了Flux的文生图工作流,图生图工作流就比较简单了,跟SD的图生图工作流是一样的,我们只要把上传的图片先通过【VAE编码】连接到【K采样器】的“latent_image”(也就是潜在空间),再设置“降噪”数值为0.8左右即可,这样相当于告诉模型80%参考提示词,20%参考图片,所以出图结果会更偏上传的图片,如下图所示。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTcwODg=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
flux图生图工作流
收藏
当然,我们还可以通过提示词反推节点来获得跟原图类似的结果,这里用到的节点是【Joy Caption Two】,如下图,我们将上传的图片给到【Joy Caption Two】输出提示词,再将提示词输入给【CLIP文本编码】。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc2NDA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
提示词反推节点
收藏
其余连接保持不变,这样我们就能得到一张跟原图类似的图案,如下图。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc2NDQ=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
出图结果
收藏
5.
Flux基础局部重绘工作流搭建
局部重绘工作流需要用到【Detailer (SEGS)】局部细化节点来替代【K采样器】,然后用【MASK to SEGS】遮罩到Seg来将需要重绘的部分给到【Detailer (SEGS)】的“Seg”,如下图所示。需要注意的是在【Detailer (SEGS)】节点中,也需要将“cfg”数值调为1,并且将“denoise”数值下调。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3MTI=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
局部重绘节点
收藏
最后在【CLIP文本编码】中输入想要替换的内容,如下图,我想将女孩的头发变成红色,就要输入“red hair”。如下图,这里我把“denoise”降噪设置为了0.95。如果设置为1的话,相当于100%参考提示词,最终出图的头发会完全变成另外一个样子,如下图2。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3MTY=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
局部重新绘制 denoise=0.95
收藏
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3MjA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
denoise=1
收藏
6.Flux高清放大修复工作流搭建
最后给大家分享的是Flux的高清放大修复,该工作流跟SD的高清放大差不多,都是用到【Ultimate SD Upscale】节点,在文生图中,只需要把该节点连接到【K采样器】后面就可以了,连接方式也比较简单,该节点中虽然参数很多,但是需要了解的只有“upscale_by”、“cfg”、“scheduler”和“denoise”四个参数,它们的作用分别是:
upscale_b:放大倍数
cfg:跟采样器中一样,设置为1
scheduler:跟采样器中一样,设置为simple
denoise:重绘幅度,默认0.2
下图是放大前后的对比,可以看出,发丝、盔甲等细节都比放大前要清晰很多。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3NTY=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
放大前后效果对比
收藏
整个工作流如下:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTc3NjA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
文生图高清修复放大工作流
收藏
在图生图中,我们也可以使用【Ultimate SD Upscale】节点将图片进行高清放大修复,搭建的流程差不多,但是不需要【K采样器】了,直接连接到【Ultimate SD Upscale】节点就行。然后在【CLIP文本编码器】中输入一些关于质量的词汇,如:high quality, detailed, highly detailed, hd, 8k , 4k, sharp
整个工作流如下图:
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTgxMTI=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
图生图高清修复放大工作流
收藏
总结:
ok,今天的分享到这里就结束啦,本篇文章主要帮助大家从0-1熟悉Flux模型和之前模型的差异点,并分享了flux模型基本工作流的搭建方法,包括文生图、图生图、局部重绘、高清放大。不难发现,工作流中很多节点和之前的SDXL、SD1.5没有太大改变,只是在模型加载和提示词调整这两部分有些许的变动,所以大家不用担心Flux的上手难度会很大。了解了原理之后,我觉得反而比之前的工作流更精简、也更容易理解了。
下一篇文章,我会和大家分享Flux的进阶工作流,包括换背景、万物迁移、风格迁移、修复手型等工作流,期待一下吧。
谢谢!
喜欢我的可以关注下哦,坚持输出AIGC普惠知识,让设计师AI不迷路。
最适合设计师的Flux基础工作流教程讲解(上)(图ZMTUxOTgxMjA=) - 教程 - 站酷设计师体验与思考原创素材 - 站酷ZCOOL
收藏
142
举报
|
252
分享
相关推荐
评论
用户头像
评论你的想法~
表情
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
玄关入门地毯印花图案红地毯
倒计时,海报,平面
平面设计 吊牌设计
牛奶乳液层次平面平铺平面
平面插画设计女孩喝咖啡
“知识宅急送”外卖,快递,平面,海报,素材,教育
牛奶乳液层次平面平铺平面
平面花卉图案扁平简约无缝拼接插画
城市园林平面布局航拍
平面书法字手写
平面男孩喝咖啡插画设计
城阙凡花
金色颗粒质地的平面
原创UIUX交互橙红渐变炫酷视觉平面设计作品集模板PSD
牛奶乳液层次梯田平铺平面
金色颗粒质地的平面
金色颗粒质地的平面
金色颗粒质地的平面
原创UIUX交互橙红渐变炫酷视觉平面设计作品集模板PSD
平面风格黄绿色系花朵装饰
平面插画设计女孩喝咖啡
金色颗粒质地的平面
城市园林平面布局航拍
金色颗粒质地的平面
金色颗粒质地的平面
你可能喜欢
相关收藏夹
大家都在看
登录注册