用美图WHEE在线训练风格模型

用户头像
上海/艺术工作者/2年前/7582浏览
用美图WHEE在线训练风格模型
美图出品的AI绘画创作平台WHEE,除了具备常用的文生图、图生图等功能,还可以进行风格模型训练。
本篇介绍如何用WHEE训练一个立体主义风格模型。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNDQ=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
训练效果
Collect
第一步,进入风格模型训练
打开WHEE在线版(
whee.com
),找到风格模型训练。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNDg=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
进入后的界面:
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNTI=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
第二步,训练设置
风格模型名称
填写“立体主义”。如果后续有更新版本的计划,也可以在名称后面加上版本号利于区分:“立体主义_v1”。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNTY=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
选择基础模型
WHEE因为也是基于Stable Diffusion,所以在训练的时候,需要选择一款基础通用模型,在其基础上训练风格模型(LoRA)。
当前版本(2024.2)的WHEE,提供了一款基础模型:MiracleVision 4.0,所以默认就好。之后如果有更多的基础模型可选,依照模型说明去选择,大方向是基础模型的风格不要与自己要训练的风格有明显冲突。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNjA=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
高级设置
接下来在这里设置训练次数和迭代周期,鼠标放在“?”图标上,可以查看系统推荐的参数值。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNjQ=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
第一次训练的话保持默认值就可以。
第三步,准备数据集
然后就是最后一个准备环节,上传数据集,也就是准备用来训练的一批风格素材图片。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNjg=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
在开源版的Stable Diffusion WebUI或其他开源训练工具中,训练模型往往有大量的参数需要设定,还可能需要对每张图做提示词标注。
而在WHEE中,好处是省去了这些工作(它背后应该有一套最优解的默认参数),无需学习研究算法相关的各种参数,也无需为每张图标注,虽然训练模型的灵活度会受一定限制,但大大降低了模型训练的上手难度。
同样,展开Tips会看到系统推荐的数据集建议:
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNzI=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
作为本例,我准备了50张立体主义风格作品图片。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzNzY=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
建议每张图的尺寸按标准的512×512,或等比例更高。
但如上图所示,我提供的数据集图片的长宽比例并不统一,一方面是测试下WHEE,另一方面是懒。实测证明,这里支持上传长宽比例不同的图片。但不确定它背后究竟是模型训练原生支持数据集不同比例,还是说后台程序先把所有图片无脑切成1:1再进行训练。
直接拖拽上传。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzODA=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
第四步,开始训练
点击界面左下角的“立即生成”,即开始训练。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzODQ=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
训练一次会消耗100美豆。
训练大约需要30~120分不等,我这一批大约用了90分钟。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzODg=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
训练中是可以离开页面的。
第五步,训练完成
训练完成后如果页面还未关闭,会看到一个弹窗。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzOTI=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
在个人主页中也随时能查看训练中或训练完毕的模型。
用美图WHEE在线训练风格模型(图ZMTQ2NzMzOTY=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
第六步,在文生图中测试模型效果
打开WHEE在线版(
whee.com
),找到文生图。
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MDA=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
在这里直接切换到“高级创作”模式。
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MDQ=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
提示词:
a  cubism painting of a man portrait
不希望呈现的内容(负提示词):
Realistic, photo
经实测,这款基础模型(MiracleVision)和默认参数,偏向生成真实感的人脸肖像,也不难理解,毕竟平台产品优先面向更大众的需求。所以我在这里通过负提示词进行调整。
模型:
原因同上,不使用推荐参数。
效果对比:
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MzI=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
左图是不加负提示词,基础模型及默认参数起更大作用,偏写实。
右图加了负提示词,训练后的风格模型比重凸显。
风格模型:
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MDg=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
风格模型这里就是选择刚训练好的模型。
需要注意的是
强度
默认60%,不能凸显效果,建议初始测试时开到80%-100%。
参数设定:
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MTI=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
其他参数设定,大部分默认就好,唯一注意,在立体主义模型案例中,建议
关闭面部修复
,以便生成艺术风格更强的效果。
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MTY=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
第七步,ControlNet
也可以开启ControlNet,即WHEE中的“画面控制”,对已有人物形象做风格化尝试。这一步可以是文生图,也可以在图生图里做。
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MjA=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
用美图WHEE在线训练风格模型(图ZMTQ2NzM0MjQ=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
用美图WHEE在线训练风格模型(图ZMTQ2NzM0Mjg=) - 教程 - 站酷设计师Contra实验编程原创素材 - 站酷ZCOOL
Collect
小结
总体来说,在WHEE种进行风格模型训练,操作步骤简单,无需部署复杂训练环境,无需配置海量训练参数,适合数据集相对统一、风格明确的训练场景。
更多WHEE教程
85
Report
|
121
Share
相关推荐
评论
用户头像
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
You may like
相关收藏夹
大家都在看
Log in