广告
了解详情
AIGC应用指南 | 用美图WHEE训练专属的IP角色模型!
成都/设计爱好者/1年前/7635浏览
版权
AIGC应用指南 | 用美图WHEE训练专属的IP角色模型!
各位兄弟姐妹们,大家好! 我是大猫,本期继续带来一篇美图WHEE的使用教程! 在之前的文章我们使用WHEE辅助设计了很多类型的设计,比如字效海报,字效视频,主KV等。
还做了一些风格化的图标。
在上一期中,我们还用WHEE生成了专属卡通IP。
但是这也只是一张图,不方便我们根据实际的设计场景做各种角度、各种动作与场景的需求。尽管我们后来生成了三视图,但也只是一张图片而已。
虽说我们也借用了AI图转3D的工具,但目前生成的3D模型都会或多或少有些问题,比如手指黏连,布线混乱等情况,日常工作中很难复用。
所以本期我们就来讲讲如何将我们的角色训练为AI生成式风格模型(Lora),方便我们后面复用,提高效率。
要训练模型,第一步就是我们要有比较多的各个角度的角色图片。图片数量越多训练的就越精准,一般来讲训练图片在20张以上效果才会及格。
如果是训练真人角色,那就需要拍一堆角色各个动作、各个角度的照片了,而训练这种卡通IP形象,要么靠画,要么就要靠建模了。
目前我们没有那么多角度的卡通IP图片,所以我们需要为IP做建模,像这种简单的卡通IP,我们手动建模所花的时间可能比修改AI生成的3D模型时间还少,且更可控。所以这里我以手动建模为主。
打开三维软件,将我们上一期文章中生成的三视图拿过来作为参考。
分别将参考图放在正视图和侧视图,然后新建一个立方体,毕竟万物始于方块,哈哈~
并添加细分修改器做成球形,剩下的就是比较常规的建模手法了,通过挤出、环切、内插面、对称等等将我们想要的IP头部做出来。因为文章以使用美图WHEE为主,所以建模的操作部分就略过了。建好的头部模型如下图:
身体也是万物始于立方体,同样的方式建模出来。这里我根据自己的需求将身体部分做了一些修改,简化了一下,更像卡通IP的感觉。
手指也不是正常的手部结构,而是肉肉的卡通手的感觉。
渲染线框图与白模如下:
然后我们根据原来的三视图给IP上好颜色与材质,如下:
现在IP模型和材质都已做好,我们需要让模型摆出不同的动作,丰富训练集。所以这里就需要用到骨骼绑定及权重等技巧了。
建立骨骼绑定并把权重处理一下,这样模型就能借助骨骼摆出各种不同的动作了。
动作当然是越多,训练集越丰富,我这里设置了七个动作。
将他们组合起来看是这样的。
但是训练集最好是有多角度的图片,所以这里我们再加个旋转动画效果,如下:
Current Time 0:00
/
Duration Time 0:00
Progress: NaN%
Playback Rate
1.00x
因为我们是做训练用的,最终要用单帧的图像,所以不用去调整动画曲线等复杂的东西,怎么简单怎么来,最终能得到图像就可以。
做好动画后我们就可以将每帧导出了,这里动画一共210帧,所以也就是210张图片。
这个数量相对来讲太多了,数量越多训练速度会越慢,我们到时候筛选,太过相似的图片可以去掉,用100张以内的图片作为训练集就可以了。
进来后是界面如下:
整体还是很直观的,右下方还有风格模型的参数设定教学,所以我们只需要按照上面的参数设定就可以。
大家在训练时可以先明确一下自己训练的内容,是场景、画风、角色还是产品。
然后根据对应的参数填入左侧设置中。我训练的是角色,推荐参数是4000-4800。
我预计上传一百张图片,那么训练次数和迭代根据上方公式大概能推导出来,训练次数2,迭代周期24,100张图,相乘刚好是4800。
将名称和参数设定好,然后上传图片。
之后我们可以直接点立即生成,
接下来就是漫长的等待咯~
耐心等待过后,我们就得到了一个独属于自己的风格模型。可以在个人主页查看训练好的模型哟~
我们也可以点这个按钮,将模型发布分享~
传上封面,填写介绍,然后【确认发布】,接着等待官方审核完别人就可以看到啦!当然了,如果不发布,自用也是可以的。
那么我们现在就可以在文生图或图生图中使用啦!
来到文生图界面。并填入以下关键词测试:
灵感激流IP,一个卡通潮玩玩具,黑色的猫,穿着机甲服装,动态构图,金属质感,高质量,8K,
第一行是我们的主体描述,第二行是发散描述。
模型选择普通的4.0模型,风格模型选择我们刚训练的【灵感激流IP】。
自己训练的模型可以在【我的】里面找到。
其他参数保持默认即可,尺寸可以根据需要调整。
我这里先尝试了一下3:4,然后点立即生图。生图如下:
可以看到生成的图片都是带有我们训练集的特征的,你想要机甲的衣服只在提示词中添加就可以了。如果想要其他衣服和动作,也在提示词中修改。
所以训练好的模型可以为后期的工作节省大量时间。
这里我想再改一下提示词,让机甲更有【钢铁侠】那种配色的感觉,我可以将提示词修改为:
灵感激流IP,一个卡通潮玩玩具,黑色的猫,穿着金色与红色的机甲,外骨骼,机械,动态构图,金属质感,高质量,8K,
主要增加了机甲的颜色描述,生图如下:
这个将我们的2头身做成了2.5头身,但也没问题。因为IP本身就可以有不同的头身比方便多元化的应用。这个配色就很有钢铁侠的范儿了。
要是正常靠建模去做,这种机甲服装还是蛮费时间的,但有了AI训练的模型后,我们只需要动动手指输入关键词就可以得到相应的图片了。
我们也可以将图片比例改为 1:1 再生成一下,因为一般来说尺寸越贴近训练集的尺寸,生图效果就会越好,1:1生图如下:
除了机甲的服饰,我们也可以多去尝试一下,比如我将关键词修改为:
> 灵感激流IP,一个卡通潮玩玩具,黑色的猫,> 穿着多彩的魔法师的长袍,戴着魔法帽,召唤火元素,精致的服饰,动态构图,绚丽的色彩,精致的细节,高质量,8K,背景是发光的魔法阵,
生图如下:
图的质量还可以,但是IP的形象变化有些大,这种时候我们只需要提高风格模型的强度就可以了。
我将强度从默认的 60 改为了 70,继续出图如下:
现在效果就好一些了,但同时也会削减AI的创造力,所以强度数值需要看大家的需求自己去平衡哟!
接着我们在尝试一下新的服装,将关键词修改为:
> 灵感激流IP,一个卡通潮玩玩具,黑色的猫,> 穿着迷彩战术皮夹克,戴着贝雷帽,拿着狙击枪,动态构图,绚丽的色彩,高质量,8K,
生图如下:
感觉还不错吧,只不过拿枪的手掌那里有瑕疵,这点后期用PS还是很好解决的。
接着我们再来试一试训练人物的宇航员服饰,将TAG修改为以下关键词:
> 灵感激流IP,一个卡通潮玩玩具,黑色的猫,宇航员> 穿着白色的宇航服,带着白色的宇航员头盔,漂浮在空中,背景是宇宙飞船内部,动态构图,绚丽的色彩,高质量,8K,
其他参数还是保持默认,生图如下:
其实有瞳孔的眼睛也不错,当然了,如果追求一致性也可以后期将瞳孔P掉。
可以多去尝试不断抽卡,得出自己想要的图片。
猫猫深空小队,出发!
我们可以再将关键词改为【中世纪骑士】,如下:
灵感激流IP,黑猫骑士,Q版,IP玩具,穿着中世纪骑士盔甲,骑着机械的马,疯狂的细节,沙漠中,卡通画风
效果也是蛮不错的吧,训练的模型可玩性很高,而且比较可控。
最后,这不是马上圣诞节了嘛,我们再用训练的角色做一下圣诞节的主题好啦~
将关键词改为:
灵感激流IP,一个卡通潮玩玩具,黑色的猫扮成圣诞老人,微笑,穿着圣诞老人的衣服,红色衣服,戴着红色的圣诞帽子,背着麻袋,礼物,背景是圣诞树,雪景,下雪的小镇,圣诞节氛围,动态构图,绚丽的色彩,高质量,8K,扁平插画风格,
生图如下:
效果还不错吧,另外,我们自己训练的模型也是可以跟其他风格模型复用的,比如我将风格模型选为:
加一个波普风格模型,出图如下:
别有一番风味,如果我讲风格模型改为纸雕书,
如果改成诗意水墨的风格模型,则生图如下:
各种画风手到擒来,可用性非常高!
那么本期文章也就结束了,大家可以尝试一下训练自己的风格模型哟!我们下期文章再见,如果觉得写得不错,不要忘记点赞哟!
一键同款链接:
机甲猫:
黑猫魔法师:
黑猫宇航员:
骑士猫:
圣诞猫-波普风:
圣诞猫-纸雕:
圣诞猫-水墨:
286
371
分享
相关推荐
评论你的想法~
表情
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
你可能喜欢
相关收藏夹
登录注册
99+登录即可同步推荐记录哦
99+登录即可加入我的收藏
评论登录即可评论想法
分享分享

















































































































































