昨天晚上,杰克老师带着我们重新梳理了公司的使命与价值观,回溯了为什么杰视帮能跨越行业周期,屹立12年不倒。
其中有一句话让我听了非常有力量:
让普通设计师不平凡!
带大家一次性解决一类型难题!让老板和运营高看一眼!
其实,从本质上来看,模型不管是跑图还是出片,都是在“猜测”。
所以,不管是跑图还是跑视频,2大核心关键之一就是:去除噪声干扰。
拿上面这张图举例,如果我们想把它的噪点去掉,可以有哪些方法呢?
其实知道了原理,脉络就会很清晰,那问题就迎刃而解:
在某些情况下,重新用回image2模型,配合提示词引导,image2是能在一定程度减少噪声的,因为i2的文本理解与自适应能力极强:
但你会发现,它虽然有所好转,但仍旧不太理想。因为这是i2天然的劣势+整张图都带着过剩的噪点污染,你让它在这天崩开局力挽狂澜... 是不太现实的~
哪怕换其他模型,也不会很理想,核心原因在于图像本身
自带了太多污染信息
。所以不要信那些提示词修复的方法,泛化性是很差的!
但也有一个邪修方法还算管用,篇幅太长,后面再分享给大家~
通过上面第一种方法你会发现,污染源不处理掉,你再怎么操作都是事倍功半。所以核心是先把污染给处理掉!
但很多时候,污染源与核心信息是共生的,就像上面这张图一样,噪点是从整张图上生长出来的,我们没有办法通过传统的遮盖、涂抹、等方式解决。
这个时候,我们就可以思考,如何精准剥离掉干扰信息?这里的核心是从干扰信息的特征入手。
读图可得,干扰信息就是一些噪点与崩坏的结构。除此外的色彩、材质纹理、特效光影是我们需要的。
那玩过comfyUI的早期同学都知道,我们当时控图是不是用scribble涂鸦+zoe深度+canny线条,每一层赋予不同的任务,来引导ai完成最终的生图。
那现在直接反过来就好了!用这些特殊图层来精准筛出那些干扰信息!
把有噪点的原图,转为线稿图、白模图、法线图、各种能控住主体,但又带不进噪声细节的功能图:
除此之外,我们还需用ai倒推出整体带材质+色彩+光影等综合信息的提示词,来将功能图重新渲染回原图:
这里建议用nano模型来转功能图,用sd5p或nano来生成图片,这个知识点上节课讲过,大家复习一下~
如果你觉得色彩偏了,那同样套上面的方法,提取色彩给到参考,做进一步引导,思路都是一样的~
哪怕用到ai跑视频上,也是如此,比如最近很流行的转深度图控制,原理就是屏蔽其他信息的干扰:
上面这些方法,估计经常跑图的同学都知道了,本次是从原理层带大家分析,为什么会这样,以及正确的解题思路是什么。
因为不同的情况,解决问题的方法组合也不一样,死记硬背一两个技法,不如吃透底层原理!
这套解题思路无偿分享给大家,别人问起你就说是你自己研究的就行,不用报我名字。