AI界的“魔法棒”:LoRA解锁智能体创作新体验!

Recommanded by editor
北京/设计爱好者/266天前/722浏览
AI界的“魔法棒”:LoRA解锁智能体创作新体验!Recommanded by editor
一、前言
AIGC工具的出现为整个设计行业带来了革命性变化,其强大之处有目共睹。设计师们借助它大大提高了创作效率,同时它也可以将设计师的各种想法化为充满创意的画面,让我们可以将更多精力投入到创意构思和细节优化上。但目前AI生图仍存在生成随机性强、AI同质化严重等问题,为了避免这些负面影响,我们将训练自有的LoRA模型作为一种解决方案,添加LoRA模型进行生图不仅可以提升图像生成质量、精准表达提示词,也能确保图像输出风格的稳定性与独特性。
在通过深入了解并使用LoRA模型后,我们开始思考如何将其与玩法结合并落地于业务的运营活动中。
二、项目探索
1.项目背景

文小言作为一款AI原生产品,其中囊括了众多AI相关的特色功能。
在已上线的「二十四节气-写诗成画」智能体中,我们期望文小言能依据用户提示词,创作出与当下节气相契合的精美藏头诗海报,但目前AI在此过程中的参与度稍显不足,仅参与了藏头诗部分的生成,节气底图仍依赖设计师绘制。为深度挖掘AI的潜力,我们考虑将LoRA生图能力落地在智能体的底图生成中,通过将两者巧妙结合,制成精美且充满意境的国风水墨系列海报,从立春之始,至岁末大寒,让每一幅海报都似精美水墨画卷般缓缓展开。
AI界的“魔法棒”:LoRA解锁智能体创作新体验!
Collect
AI界的“魔法棒”:LoRA解锁智能体创作新体验!
Collect
2.玩法创新

通过LoRA将AI生图能力落地在「二十四节气-写诗成画」智能体中,做到快速生成多张相同风格的节气海报,同时也使生成的画面创意倍增,极大强化玩法的AI属性与趣味性,提升用户的生成体验。
另一方面,通过一次性搭建配置平台,只需简单更换节气提示词即可做到节气风格切换,极大简化玩法前期配置所需环节。
同时,该玩法历经长期的更新迭代,已经积累了大量优质的训练集,并形成一套完整的水墨风格体系,基本可以满足节气风格LoRA的训练所需。
3.明确方向
训练前期,将现有节气海报图片汇总排列,分析并提炼其共同点和风格特征,从而确定了LoRA风格训练的几大方向:
  • 保持国风水墨风格
    :确保LoRA在图像生成时能够凸显画面的意境氛围和水墨晕染的笔触,使观者仿若置身于诗意的山水画卷之中。
  • 强调画面上方留白
    :留白不仅是国风水墨画中凸显意境的常见艺术手法,同时也为藏头诗的融入提供了相应的区域,二者相辅相成,共同展现出独特的艺术魅力。
  • 支持节气灵活切换
    :为确保图像生成的多样化体验,需在满足以上两点的同时,实现单一LoRA模型对二十四节气的灵活适配,这要求我们深入理解四季变换的自然规律与美学特征,并制定针对性训练策略,让LoRA在生图时充分彰显四季更迭的独特魅力。
AI界的“魔法棒”:LoRA解锁智能体创作新体验!
Collect
4.模型训练
在明确了训练方向后,我们正式启动了模型训练流程,遇到问题采取相应策略,见招拆招!
1)训练集补全
由于目前已更新的节气尚未覆盖全年二十四节气,所以首先需要对缺失图集进行补全。
我们通过将已有图集上传至Midjourney,利用已有图集垫图控制生成风格,在提示词方面强调水墨意境与画面留白的描述,二者结合共同引导,快速补全24节气缺失图集。
经过多轮生成尝试得出结论,关于景色的描述越简洁,画面则越有意境,所以我们借助了文小言的文言文生成能力,得到了简洁优美的画面提示词。
AI界的“魔法棒”:LoRA解锁智能体创作新体验!
Collect
2)训练集处理
由于AI生成具有极强的随机性,因此我们在训练集准备阶段,通过PS对图像布局进行调整,并根据训练集画面提炼对应的描述词模版,旨在特意强调画面中的留白部分。这一操作不仅是为了给藏头诗预留区域,留白同样也是水墨画中不可或缺的元素,它不仅能够赋予画面呼吸的空间,更能够凸显画面所蕴含的深邃意境与无限遐想。
AI界的“魔法棒”:LoRA解锁智能体创作新体验!
Collect
3)训练及成果测试
通过调整合适的训练参数进行LoRA训练,多次训练结果对比显示,若是采取将训练集按季节细致分类的策略,可以增强模型对季节特征的辨识与学习能力,有效避免季节特征间相互污染,确保LoRA中四季的划分。
随后,通过将LoRA结合大模型进行生图测试,寻找最佳生图参数,并通过总结高质提示词模版,做到更换季节、场景描述即可完成高质量、高泛化的图像生成。
AI界的“魔法棒”:LoRA解锁智能体创作新体验!
Collect
4)生图功能落地
最后我们将生成的图像与AI藏头诗巧妙融合,制作出一系列画面精美、意蕴深远的节气藏头诗海报。这些海报不仅展示了中国传统文化的独特魅力,还通过现代科技的手段,让古老的节气文化焕发出新的生机与活力,更为我们带来了全新的视觉与心灵享受。
AI界的“魔法棒”:LoRA解锁智能体创作新体验!
Collect
三、落地收益
我们将生图能力整合落地至「二十四节气-写诗成画」智能体后,实现了图像创作的全AI化,它能够根据用户的个性化需求,生成丰富多样的视觉内容。这不仅极大吸引了用户的注意力,还激发了他们的创意互动热情,为用户带来了全新的玩法体验。
这种创新性的运营玩法不仅显著提升了用户参与度,强化了产品的AI属性,更在无形中增强了品牌影响力。后续我们也会通过不断优化训练集内容对LoRA进行版本迭代,在图像创作领域为用户带来更好的体验。
感谢阅读,以上内容均由百度MEUX团队原创设计,以及百度MEUX版权所有,转载请注明出处,违者必究,谢谢您的合作。申请转载授权后台回复【转载】。
MEUX招聘进行中,交互/视觉/用研可投简历至meux-talent@baidu.com
​(请在邮件中务必明确标注信息来源,例如:来自MEUX站酷)
3
阅读原文
|
Report
|
28
Share
相关推荐
评论
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
You may like
神奇李特WoderLee
Homepage recommendation
相关收藏夹
UI UX
UI UX
UI UX
UI UX
作品收藏夹
《阿凡达3》来了
《阿凡达3》来了
《阿凡达3》来了
《阿凡达3》来了
精选收藏夹
作品收藏夹
茶包装
茶包装
茶包装
茶包装
精选收藏夹
作品收藏夹
白酒包装 酒产品
白酒包装 酒产品
白酒包装 酒产品
白酒包装 酒产品
精选收藏夹
作品收藏夹
IP形象及IP内容
IP形象及IP内容
IP形象及IP内容
IP形象及IP内容
精选收藏夹
作品收藏夹
大家都在看
Log in