用美图WHEE在线训练风格模型

Homepage recommendation
上海/艺术工作者/1年前/7519浏览
用美图WHEE在线训练风格模型Homepage recommendation
美图出品的AI绘画创作平台WHEE,除了具备常用的文生图、图生图等功能,还可以进行风格模型训练。
本篇介绍如何用WHEE训练一个立体主义风格模型。
训练效果
训练效果
Collect
第一步,进入风格模型训练
打开WHEE在线版(
whee.com
),找到风格模型训练。
用美图WHEE在线训练风格模型
Collect
进入后的界面:
用美图WHEE在线训练风格模型
Collect
第二步,训练设置
风格模型名称
填写“立体主义”。如果后续有更新版本的计划,也可以在名称后面加上版本号利于区分:“立体主义_v1”。
用美图WHEE在线训练风格模型
Collect
选择基础模型
WHEE因为也是基于Stable Diffusion,所以在训练的时候,需要选择一款基础通用模型,在其基础上训练风格模型(LoRA)。
当前版本(2024.2)的WHEE,提供了一款基础模型:MiracleVision 4.0,所以默认就好。之后如果有更多的基础模型可选,依照模型说明去选择,大方向是基础模型的风格不要与自己要训练的风格有明显冲突。
用美图WHEE在线训练风格模型
Collect
高级设置
接下来在这里设置训练次数和迭代周期,鼠标放在“?”图标上,可以查看系统推荐的参数值。
用美图WHEE在线训练风格模型
Collect
第一次训练的话保持默认值就可以。
第三步,准备数据集
然后就是最后一个准备环节,上传数据集,也就是准备用来训练的一批风格素材图片。
用美图WHEE在线训练风格模型
Collect
在开源版的Stable Diffusion WebUI或其他开源训练工具中,训练模型往往有大量的参数需要设定,还可能需要对每张图做提示词标注。
而在WHEE中,好处是省去了这些工作(它背后应该有一套最优解的默认参数),无需学习研究算法相关的各种参数,也无需为每张图标注,虽然训练模型的灵活度会受一定限制,但大大降低了模型训练的上手难度。
同样,展开Tips会看到系统推荐的数据集建议:
用美图WHEE在线训练风格模型
Collect
作为本例,我准备了50张立体主义风格作品图片。
用美图WHEE在线训练风格模型
Collect
建议每张图的尺寸按标准的512×512,或等比例更高。
但如上图所示,我提供的数据集图片的长宽比例并不统一,一方面是测试下WHEE,另一方面是懒。实测证明,这里支持上传长宽比例不同的图片。但不确定它背后究竟是模型训练原生支持数据集不同比例,还是说后台程序先把所有图片无脑切成1:1再进行训练。
直接拖拽上传。
用美图WHEE在线训练风格模型
Collect
第四步,开始训练
点击界面左下角的“立即生成”,即开始训练。
用美图WHEE在线训练风格模型
Collect
训练一次会消耗100美豆。
训练大约需要30~120分不等,我这一批大约用了90分钟。
用美图WHEE在线训练风格模型
Collect
训练中是可以离开页面的。
第五步,训练完成
训练完成后如果页面还未关闭,会看到一个弹窗。
用美图WHEE在线训练风格模型
Collect
在个人主页中也随时能查看训练中或训练完毕的模型。
用美图WHEE在线训练风格模型
Collect
第六步,在文生图中测试模型效果
打开WHEE在线版(
whee.com
),找到文生图。
用美图WHEE在线训练风格模型
Collect
在这里直接切换到“高级创作”模式。
用美图WHEE在线训练风格模型
Collect
提示词:
a  cubism painting of a man portrait
不希望呈现的内容(负提示词):
Realistic, photo
经实测,这款基础模型(MiracleVision)和默认参数,偏向生成真实感的人脸肖像,也不难理解,毕竟平台产品优先面向更大众的需求。所以我在这里通过负提示词进行调整。
模型:
原因同上,不使用推荐参数。
效果对比:
用美图WHEE在线训练风格模型
Collect
左图是不加负提示词,基础模型及默认参数起更大作用,偏写实。
右图加了负提示词,训练后的风格模型比重凸显。
风格模型:
用美图WHEE在线训练风格模型
Collect
风格模型这里就是选择刚训练好的模型。
需要注意的是
强度
默认60%,不能凸显效果,建议初始测试时开到80%-100%。
参数设定:
用美图WHEE在线训练风格模型
Collect
其他参数设定,大部分默认就好,唯一注意,在立体主义模型案例中,建议
关闭面部修复
,以便生成艺术风格更强的效果。
用美图WHEE在线训练风格模型
Collect
第七步,ControlNet
也可以开启ControlNet,即WHEE中的“画面控制”,对已有人物形象做风格化尝试。这一步可以是文生图,也可以在图生图里做。
用美图WHEE在线训练风格模型
Collect
用美图WHEE在线训练风格模型
Collect
用美图WHEE在线训练风格模型
Collect
小结
总体来说,在WHEE种进行风格模型训练,操作步骤简单,无需部署复杂训练环境,无需配置海量训练参数,适合数据集相对统一、风格明确的训练场景。
更多WHEE教程
84
Report
|
120
Share
相关推荐
手把手教你用WHEE创作科幻绘本
Homepage recommendation
文章内容含视频
WHEE蛋糕视觉设计实战案例
Recommanded by editor
文章内容含视频
AIGC
AIGC
AIGC
AIGC
作品收藏夹
WHEE见山海经 - AI动态海报设计
Recommanded by editor
文章内容含视频
WHEE+Suno AI, "啥都不会"的甲方有救了
Recommanded by editor
文章内容含视频
评论
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
You may like
Segway E3 Pro|Own Your City
Homepage recommendation
相关收藏夹
AIGC
AIGC
AIGC
AIGC
作品收藏夹
学习
学习
学习
学习
作品收藏夹
教程
教程
教程
教程
作品收藏夹
文章
文章
文章
文章
作品收藏夹
UI UX交互
UI UX交互
UI UX交互
UI UX交互
作品收藏夹
学习 技法
学习 技法
学习 技法
学习 技法
作品收藏夹
大家都在看
Log in