新模型Stable Cascade详细讲解【附工作流】

用户头像
北京/平面设计师/2年前/904浏览
新模型Stable Cascade详细讲解【附工作流】
在2024年2月12日,Stability.Ai公司发布了
新模型Stable Cascade
上线了一段时间的新模型,小伙伴们体验感如何呢?这篇文章和你深度聊聊~
01前言
Stable Cascade 模型最大的优点是
  • 是能
    生成带有文字的图片
    ,文字出错率相比以前模型少很多;
  • 其次是
    硬件要求降低
    ,甚至与sd1.5相比,该架构比之前版本实现了16倍的成本降低;
  • 最后一大亮点是模型
    更加理解提示词语义
这篇文章带大家详细了解Stable Cascade 模型。
最后我整理打包了此模型,【Stable cascade模型+安装方法+工作流】整套放在了文章最后,伙伴们自行下载~
02 效果对比(Cascade 模型与SDXL模型)
左边使用Cascade模型出的效果图片,右边使用SDXL模型出图效果:
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0Njg=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
收藏
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0NzI=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
收藏
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0NzY=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
收藏
通过以上的图片,小伙伴更喜欢哪种模型出的效果呢~
根据官方给到的评估结论,在几乎所有比较中,Stable Cascade 在
理解提示词语义方面和美观质量方面
都表现最好。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0ODA=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
Stable Cascade 模型和其他模型的数据对比
收藏
03 Cascade模型是什么?
Cascade模型与之前的sd模型相比,主要区别是可以在更小的潜空间中工作。
潜空间可以简单理解为ai计算生成图片的区域,潜在空间越小,推理速度就越快,训练成本也就越低。
之前的sd模型如果想要生成一张1024*1024的图片,在潜空间的编码为128*128,使用的压缩因子为8,可以简单的理解为1024*1024的图片除以8(压缩因子)等于在潜空间的编码大小128*128。
而Stable Cascade 的压缩系数为 42,这意味着可以将 1024x1024 图像,在潜空间的编码为 24x24,
这样就可以使用更小的潜空间尺寸,并且实现清晰的图像输出。甚至与sd1.5相比,该架构比之前版本实现了16倍的成本降低。
因此,
这种模型非常适合快速的生成高质量图片
。并且当前已知的扩展(如微调、LoRA、ControlNet、IP 适配器、LCM 等)也可以通过此方法实现。
04 Cascade的文件结构
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0ODQ=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
Stable Cascade 模型逻辑流程图
收藏
1.Stable Cascade由三个模型组成
Stage A、Stage B和Stage C,代表级联生成图像。
【级联】是指多个系统、设备或组件按照一定的顺序依次连接起来,形成一个整体,其中前一个系统、设备或组件的输出作为后一个的输入。因此得名“Stable Cascade”。
2.Stable Cascade如何级联运行
A 阶段和 B 阶段用于压缩图像,类似于stable diffusion中 VAE 的工作。然而,通过这种设置,可以实现更高的图像压缩。此外,阶段 C 负责在给定文本提示的情况下生成小的 24 x 24 潜伏。
比如输入提示词“鳄梨形状的扶手椅”,就会进入到第一步潜在的生成器,并且使用stage C模型生成较小的潜在图像,生成完成后,会进入到stage B和stage A,对生成的潜在图像内容还原到像素空间。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0ODg=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
Stable Cascade 模型输入提示词后的生成流程
收藏
05 使用Cascade模型的流程和工作流搭建
下载模型
1.
模型下载分为两个部分:
Cascade模型+clip模型;
2.
cascade模型又分为stageA,stageB,stageC,官方对stage C和stage B分别提供了两个版本,每个模型只需要下载其中一个即可;
3.
其中stage C 提供 10 亿和 36 亿参数版本,
官方强烈建议使用 36 亿版本,生成的图像会有更加有细节。
Stage B 的两个版本分别达到 7 亿和 15 亿个参数。 15 亿擅长重建微小而精细的细节。
4.
最后,Stage  A 包含 2000 万个参数,
只有一个版本直接下载默认版本的即可。
如果你的电脑性能足够,当前建议直接下载较大文件体积的模型,能够获得更好的结果。
clip模型在text_encoder文件夹,只有一个版本,下载model.safetensors模型即可。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MzI=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
收藏
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MzY=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
收藏
这些模型我也打包好了,放在文章的最后,可以直接下载使用。
安装模型
stage C和stage B这两个模型
放置到ComfyUI根目录\ComfyUI\models\unet文件夹中。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0OTI=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
stage C和stage B这两个模型放置的文件位置
收藏
stage A模型
放置到ComfyUI根目\ComfyUI\models\vae文件夹中
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY0OTY=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
stage A模型放置的文件位置
收藏
最后将
clip模型
放置到ComfyUI根目录\ComfyUI\models\clip文件夹中,
这样使用cascade的模型安装也完成了。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MDA=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
clip模型放置的位置
收藏
更新Comfyui版本
将comfyui更新到最新版本即可,官方将需要的模块已经同步进模型包了,
comfyui的更新方法,打开秋葉的启动器,具体怎么将秋葉启动器安装到官方的comfyui包中,可以参考这条视频的方法。
【设计师学Ai】哔哩哔哩搜索账号可看,一分钟教你使用秋葉启动器对Comfyui进行升降版本,版本管理。链接入口:https://www.bilibili.com/video/BV1Hg4y1Z7jX/?spm_id_from=333.999.0.0&vd_source=dc3d11f39507747c7c5bdabc3c1bf2c5
点击“版本管理”-右上角的“一键更新”按钮,即可将comfyui更新到最新版本。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MDQ=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
秋葉启动器安装到官方的comfyui包,进行一键更新
收藏
工作流搭建
拿到官方更新的cascade工作流之后,工作流应该会默认安装好这四个模型,你也可以点击模块上的模型加载位置检查模型是否加载完成。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MDg=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
四个模型安装位置
收藏
并且需要注意load clip模块上,模型的种类是否选择的是“stable_cascade”,并且加载的是刚刚下载的clip模型,你也可以给这个clip模型修改一下名称,例如“cascade_clip_model”这样就不会与其他的clip模型混淆。
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MTI=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
确定模型种类的位置,千万别混淆了
收藏
完成以上设置之后,就可以填写提示词,进行图像生成了。
Cascade模型效果展示
文字相关:在6个及以下字母的单词生成的准确率非常高,准确率能达到80%。但是
超出7个字母后
,想要直接生成拼写无误的单词比较困难,准确率在20%左右。
文字效果如下:
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MTY=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
Cascade模型文字效果
收藏
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MjA=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
Cascade模型文字效果
收藏
电影海报效果如下:
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1MjQ=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
Cascade模型直出的海报效果图
收藏
06 文章末尾:最后总结
  新模型发布:
Stable Cascade 在研究预览中发布,采用三阶段方法,提高了质量、灵活性、微调能力和效率,同时进一步降低了硬件要求。
  技术细节:
Stable Cascade 包括三个阶段(A、B、C),通过分层压缩图像,实现了使用高度压缩的潜在空间达到显著的输出效果。
  训练和微调:
提供了针对不同阶段的训练和微调脚本,特别是Stage C,可以单独进行训练或微调,显著降低成本。
  参数规模与效率:
Stage C 提供10亿与36亿参数两种模型,Stage B 提供7亿与15亿参数两种模型,强调了效率和质量的平衡。
结语
以上,希望这篇文章能够帮助到你~谢谢你看我的文章。
同时我们上架了Comfyui系统课,让零基础的朋友也能学会Comfyui~感兴趣的朋友可私聊了解详情!
新模型Stable Cascade详细讲解【附工作流】(图ZMTQ2NzY1Mjg=) - 教程 - 站酷设计师设计师学Ai原创素材 - 站酷ZCOOL
收藏
【Stable cascade模型+安装方法+工作流】链接
百度网盘
:链接:https://pan.baidu.com/s/1wkREqPFKTyYsIxtm_HbMrA?pwd=q57i 
提取码:q57i 
夸克网盘:
链接:
https://pan.quark.cn/s/8132497ede8f
提取码:rhp6
6
举报
|
11
分享
相关推荐
评论
用户头像
评论你的想法~
表情
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
禅意山水画 意境山水 水墨装饰画  新中式水墨山水
新能源腊八节海报
 ps常用偷懒笔刷
立春节气背景
服装杂志封面文旅海报宣传画时尚服装画水墨人物装饰画
 中式花鸟墙纸 新中式壁画 花鸟装饰画 花鸟画
母婴矢量插画
国画水墨江南山水画装饰画电视背景墙装饰画
彩灯_花灯_春节彩灯_春节花灯_马年彩灯_马年花灯
中国风书法汉字字体设计其他
玫瑰
乐陶创意体验工坊标志设计
二十四节气图片之霜降
汉堡插画
宠物纪念相册H5模板系列 · 温馨治愈系 · 三款主题
中秋佳节花好月圆
卡通兔子插画
室内家居场景矢量插画
我要奋斗
炫光
母婴电商矢量插画
木纹贴图设计师常用
香盒包装设计国风国潮通用香礼盒
头发1
女生半身插画
你可能喜欢
相关收藏夹
MJ
MJ
MJ
MJ
地产VI
地产VI
地产VI
地产VI
大家都在看
登录注册