美图出品的AI绘画创作平台WHEE,除了具备常用的文生图、图生图等功能,还可以进行风格模型训练。
填写“立体主义”。如果后续有更新版本的计划,也可以在名称后面加上版本号利于区分:“立体主义_v1”。
WHEE因为也是基于Stable Diffusion,所以在训练的时候,需要选择一款基础通用模型,在其基础上训练风格模型(LoRA)。
当前版本(2024.2)的WHEE,提供了一款基础模型:MiracleVision 4.0,所以默认就好。之后如果有更多的基础模型可选,依照模型说明去选择,大方向是基础模型的风格不要与自己要训练的风格有明显冲突。
接下来在这里设置训练次数和迭代周期,鼠标放在“?”图标上,可以查看系统推荐的参数值。
然后就是最后一个准备环节,上传数据集,也就是准备用来训练的一批风格素材图片。
在开源版的Stable Diffusion WebUI或其他开源训练工具中,训练模型往往有大量的参数需要设定,还可能需要对每张图做提示词标注。
而在WHEE中,好处是省去了这些工作(它背后应该有一套最优解的默认参数),无需学习研究算法相关的各种参数,也无需为每张图标注,虽然训练模型的灵活度会受一定限制,但大大降低了模型训练的上手难度。
建议每张图的尺寸按标准的512×512,或等比例更高。
但如上图所示,我提供的数据集图片的长宽比例并不统一,一方面是测试下WHEE,另一方面是懒。实测证明,这里支持上传长宽比例不同的图片。但不确定它背后究竟是模型训练原生支持数据集不同比例,还是说后台程序先把所有图片无脑切成1:1再进行训练。
训练大约需要30~120分不等,我这一批大约用了90分钟。
a cubism painting of a man portrait
经实测,这款基础模型(MiracleVision)和默认参数,偏向生成真实感的人脸肖像,也不难理解,毕竟平台产品优先面向更大众的需求。所以我在这里通过负提示词进行调整。
左图是不加负提示词,基础模型及默认参数起更大作用,偏写实。
需要注意的是
强度
默认60%,不能凸显效果,建议初始测试时开到80%-100%。
其他参数设定,大部分默认就好,唯一注意,在立体主义模型案例中,建议
关闭面部修复
,以便生成艺术风格更强的效果。
也可以开启ControlNet,即WHEE中的“画面控制”,对已有人物形象做风格化尝试。这一步可以是文生图,也可以在图生图里做。
总体来说,在WHEE种进行风格模型训练,操作步骤简单,无需部署复杂训练环境,无需配置海量训练参数,适合数据集相对统一、风格明确的训练场景。