新模型Stable Cascade详细讲解【附工作流】

Recommanded by editor
北京/平面设计师/1年前/807浏览
新模型Stable Cascade详细讲解【附工作流】Recommanded by editor
在2024年2月12日,Stability.Ai公司发布了
新模型Stable Cascade
上线了一段时间的新模型,小伙伴们体验感如何呢?这篇文章和你深度聊聊~
01前言
Stable Cascade 模型最大的优点是
  • 是能
    生成带有文字的图片
    ,文字出错率相比以前模型少很多;
  • 其次是
    硬件要求降低
    ,甚至与sd1.5相比,该架构比之前版本实现了16倍的成本降低;
  • 最后一大亮点是模型
    更加理解提示词语义
这篇文章带大家详细了解Stable Cascade 模型。
最后我整理打包了此模型,【Stable cascade模型+安装方法+工作流】整套放在了文章最后,伙伴们自行下载~
02 效果对比(Cascade 模型与SDXL模型)
左边使用Cascade模型出的效果图片,右边使用SDXL模型出图效果:
新模型Stable Cascade详细讲解【附工作流】
Collect
新模型Stable Cascade详细讲解【附工作流】
Collect
新模型Stable Cascade详细讲解【附工作流】
Collect
通过以上的图片,小伙伴更喜欢哪种模型出的效果呢~
根据官方给到的评估结论,在几乎所有比较中,Stable Cascade 在
理解提示词语义方面和美观质量方面
都表现最好。
Stable Cascade 模型和其他模型的数据对比
Stable Cascade 模型和其他模型的数据对比
Collect
03 Cascade模型是什么?
Cascade模型与之前的sd模型相比,主要区别是可以在更小的潜空间中工作。
潜空间可以简单理解为ai计算生成图片的区域,潜在空间越小,推理速度就越快,训练成本也就越低。
之前的sd模型如果想要生成一张1024*1024的图片,在潜空间的编码为128*128,使用的压缩因子为8,可以简单的理解为1024*1024的图片除以8(压缩因子)等于在潜空间的编码大小128*128。
而Stable Cascade 的压缩系数为 42,这意味着可以将 1024x1024 图像,在潜空间的编码为 24x24,
这样就可以使用更小的潜空间尺寸,并且实现清晰的图像输出。甚至与sd1.5相比,该架构比之前版本实现了16倍的成本降低。
因此,
这种模型非常适合快速的生成高质量图片
。并且当前已知的扩展(如微调、LoRA、ControlNet、IP 适配器、LCM 等)也可以通过此方法实现。
04 Cascade的文件结构
Stable Cascade 模型逻辑流程图
Stable Cascade 模型逻辑流程图
Collect
1.Stable Cascade由三个模型组成
Stage A、Stage B和Stage C,代表级联生成图像。
【级联】是指多个系统、设备或组件按照一定的顺序依次连接起来,形成一个整体,其中前一个系统、设备或组件的输出作为后一个的输入。因此得名“Stable Cascade”。
2.Stable Cascade如何级联运行
A 阶段和 B 阶段用于压缩图像,类似于stable diffusion中 VAE 的工作。然而,通过这种设置,可以实现更高的图像压缩。此外,阶段 C 负责在给定文本提示的情况下生成小的 24 x 24 潜伏。
比如输入提示词“鳄梨形状的扶手椅”,就会进入到第一步潜在的生成器,并且使用stage C模型生成较小的潜在图像,生成完成后,会进入到stage B和stage A,对生成的潜在图像内容还原到像素空间。
Stable Cascade 模型输入提示词后的生成流程
Stable Cascade 模型输入提示词后的生成流程
Collect
05 使用Cascade模型的流程和工作流搭建
下载模型
1.
模型下载分为两个部分:
Cascade模型+clip模型;
2.
cascade模型又分为stageA,stageB,stageC,官方对stage C和stage B分别提供了两个版本,每个模型只需要下载其中一个即可;
3.
其中stage C 提供 10 亿和 36 亿参数版本,
官方强烈建议使用 36 亿版本,生成的图像会有更加有细节。
Stage B 的两个版本分别达到 7 亿和 15 亿个参数。 15 亿擅长重建微小而精细的细节。
4.
最后,Stage  A 包含 2000 万个参数,
只有一个版本直接下载默认版本的即可。
如果你的电脑性能足够,当前建议直接下载较大文件体积的模型,能够获得更好的结果。
clip模型在text_encoder文件夹,只有一个版本,下载model.safetensors模型即可。
新模型Stable Cascade详细讲解【附工作流】
Collect
新模型Stable Cascade详细讲解【附工作流】
Collect
这些模型我也打包好了,放在文章的最后,可以直接下载使用。
安装模型
stage C和stage B这两个模型
放置到ComfyUI根目录\ComfyUI\models\unet文件夹中。
stage C和stage B这两个模型放置的文件位置
stage C和stage B这两个模型放置的文件位置
Collect
stage A模型
放置到ComfyUI根目\ComfyUI\models\vae文件夹中
stage A模型放置的文件位置
stage A模型放置的文件位置
Collect
最后将
clip模型
放置到ComfyUI根目录\ComfyUI\models\clip文件夹中,
这样使用cascade的模型安装也完成了。
clip模型放置的位置
clip模型放置的位置
Collect
更新Comfyui版本
将comfyui更新到最新版本即可,官方将需要的模块已经同步进模型包了,
comfyui的更新方法,打开秋葉的启动器,具体怎么将秋葉启动器安装到官方的comfyui包中,可以参考这条视频的方法。
【设计师学Ai】哔哩哔哩搜索账号可看,一分钟教你使用秋葉启动器对Comfyui进行升降版本,版本管理。链接入口:https://www.bilibili.com/video/BV1Hg4y1Z7jX/?spm_id_from=333.999.0.0&vd_source=dc3d11f39507747c7c5bdabc3c1bf2c5
点击“版本管理”-右上角的“一键更新”按钮,即可将comfyui更新到最新版本。
秋葉启动器安装到官方的comfyui包,进行一键更新
秋葉启动器安装到官方的comfyui包,进行一键更新
Collect
工作流搭建
拿到官方更新的cascade工作流之后,工作流应该会默认安装好这四个模型,你也可以点击模块上的模型加载位置检查模型是否加载完成。
四个模型安装位置
四个模型安装位置
Collect
并且需要注意load clip模块上,模型的种类是否选择的是“stable_cascade”,并且加载的是刚刚下载的clip模型,你也可以给这个clip模型修改一下名称,例如“cascade_clip_model”这样就不会与其他的clip模型混淆。
确定模型种类的位置,千万别混淆了
确定模型种类的位置,千万别混淆了
Collect
完成以上设置之后,就可以填写提示词,进行图像生成了。
Cascade模型效果展示
文字相关:在6个及以下字母的单词生成的准确率非常高,准确率能达到80%。但是
超出7个字母后
,想要直接生成拼写无误的单词比较困难,准确率在20%左右。
文字效果如下:
Cascade模型文字效果
Cascade模型文字效果
Collect
Cascade模型文字效果
Cascade模型文字效果
Collect
电影海报效果如下:
Cascade模型直出的海报效果图
Cascade模型直出的海报效果图
Collect
06 文章末尾:最后总结
  新模型发布:
Stable Cascade 在研究预览中发布,采用三阶段方法,提高了质量、灵活性、微调能力和效率,同时进一步降低了硬件要求。
  技术细节:
Stable Cascade 包括三个阶段(A、B、C),通过分层压缩图像,实现了使用高度压缩的潜在空间达到显著的输出效果。
  训练和微调:
提供了针对不同阶段的训练和微调脚本,特别是Stage C,可以单独进行训练或微调,显著降低成本。
  参数规模与效率:
Stage C 提供10亿与36亿参数两种模型,Stage B 提供7亿与15亿参数两种模型,强调了效率和质量的平衡。
结语
以上,希望这篇文章能够帮助到你~谢谢你看我的文章。
同时我们上架了Comfyui系统课,让零基础的朋友也能学会Comfyui~感兴趣的朋友可私聊了解详情!
新模型Stable Cascade详细讲解【附工作流】
Collect
【Stable cascade模型+安装方法+工作流】链接
百度网盘
:链接:https://pan.baidu.com/s/1wkREqPFKTyYsIxtm_HbMrA?pwd=q57i 
提取码:q57i 
夸克网盘:
链接:
https://pan.quark.cn/s/8132497ede8f
提取码:rhp6
6
Report
|
11
Share
相关推荐
评论
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
You may like
相关收藏夹
MJ
MJ
MJ
MJ
作品收藏夹
企业展厅
企业展厅
企业展厅
企业展厅
精选收藏夹
作品收藏夹
ip形象设计+表情包
ip形象设计+表情包
ip形象设计+表情包
ip形象设计+表情包
精选收藏夹
作品收藏夹
企业展厅/文化墙 参考
企业展厅/文化墙 参考
企业展厅/文化墙 参考
企业展厅/文化墙 参考
精选收藏夹
作品收藏夹
小家电
小家电
小家电
小家电
精选收藏夹
作品收藏夹
IP形象及IP内容
IP形象及IP内容
IP形象及IP内容
IP形象及IP内容
精选收藏夹
作品收藏夹
大家都在看
Log in