本期由人工草坪AI DESIGN LAB的两位设计师，为我们带来了将于明天正式开源的Stable Diffusion 3.0的图片处理分析，及设计能力应用分享。包括展现其文生图准确性、真实性的升级效果，以及如何利用“打光神器”IC-Light实现对光影的操控，并应用到工作生活的具体场景中，以配合完成画面视觉、影视制作的生产力提升。
Stable Diffusion是Stability AI 公司推出的AI绘画生成工具，于今年2月发布Stable Diffusion 3.0，采用了和Sora同样的底层架构，并发布了新的多模态DiT（MMDiT，Multimodal Diffusion Transformer）模型，在画面质量、文字渲染、复杂对象理解能力上有大幅度提升，不仅有DALL-E 3的文生图准确性，同时有Midjourney V6的美学体系。SD3的Medium模型将于明天正式开源。
SD3最具使用性的是其对于复杂语意的理解能力，在输入同一段prompt指令的情况下，对比SD3、Midjourney以及Stable Diffusion前一代产品XL的表现力，可以直观的感受到它更加真实的美术风格，和对指令更加精确的展现。
prompt：
在橡木办公桌的桌面中间有一台苹果笔记本电脑，电脑屏幕上写着“10:00”。在电脑的左边有一个水杯，水杯上 写着“happy”。电脑后面有一盆虎皮兰绿植，背景是办公室，奢华
There is an Apple laptop in the middle of the desktop of the oak desk, and the computer screen says "10:00". There is a water cup in front of the left of the computer, and the cup says "happy". There is a pot of tiger pilan green plants behind the computer, and the background is office, luxury
Stable Diffusion 3.0 优势干货总结：
IC-Light全称为“Imposing Consistent Light”，是一款AI图像照明操纵工具。它致力于通过先进的AI学习技术，对图像的照明条件进行操纵，从而实现一致的光照效果。IC-Light的核心在于它能够在不依赖复杂提示的情况下，通过简单的文本描述或背景条件，对图像的光照进行调整，创造出各种光影效果。
IC-Light的主要功能：IC-Light可以做到在高度保留图片细节的同时，给一张图片进行重新打光IC-Light的光源重绘有三种实现链路：主体物&背景光源融合、主体物抠像光源重绘、提示词重绘画面光源
用户可以指定光源的方向，比如从左侧、右侧或上方照射，以创造出更加逼真的光照效果
通过输入描述性的文字提示，如“暗黑光效”、“霓虹灯效果”等，来指导IC-Light生成具有特定光照效果的图像
但在具体应用场景中，IC-Light在改变物体光源的同时，也会造成高频信息处理的丢失，可以使用“高反差保留”原理，对图片细节进行极致提炼与还原，在增加光效的同时保留文字细节。
要知道“高反差保留”的基本原理，首先要了解什么是高频与低频。高频与低频这个概念来源于信号处理领域。“频率”本身指的是一个信号在单位空间内的变化次数，后来这个原理被迁移到了图像领域，就是像素在单位面积内变化的频率。比如这张产品照片，背景桌面的部分就可以称它为低频，而产品的边缘纹理，尤其是中间的商标，就是它在图片中像素高频变化的区域。
那么如何提取出高频信息呢？其实也很简单，首先对原图进行一个模糊的操作，起到类似于滤网或者漏斗作用，过滤掉了图片高频细节。这时候我们再用原始的图像进行比较，从中减去这个模糊，我们就得到了两者之间的差异。这个差异就是高频信息，这就是对一个图片进行“高反差保留”。在这个工作流中，我们对这个物体进行自动抽象之后，只保留这个物体上面的高频信息。这么做的原因是为了避免背景中高频信息对生成效果的干扰，以此得到最右边的最终效果。
在这个节点里Detail Transfer是控制生成效果的一个关键点，我们调节主要参数pro sigma，它的参数越高，图片前置处理的效果就会变得越模糊，滤网也就越稀疏，最后减去之后提到的高频信息也就越多。可以看到对比的生成效果，pro sigma从3.0直接调到了100，调的越高提到的高频信息越多，就会更加的锐化，更加的清晰。
由此最终得到了在改变光源效果后依然保留产品的细节。
在逐渐将AI运用到场景使用的过程中，我们不断通过各种方式来优化和解决它的问题，让它的功能逐渐向着可落地的方向靠拢。
💡 也欢迎大家后台交流更多AI想法和使用心得，在草坪上一起成长共同进步。
更多文章请关注微信公众号：人工草坪AI DESIGN
