AIGC工具的出现为整个设计行业带来了革命性变化,其强大之处有目共睹。设计师们借助它大大提高了创作效率,同时它也可以将设计师的各种想法化为充满创意的画面,让我们可以将更多精力投入到创意构思和细节优化上。但目前AI生图仍存在生成随机性强、AI同质化严重等问题,为了避免这些负面影响,我们将训练自有的LoRA模型作为一种解决方案,添加LoRA模型进行生图不仅可以提升图像生成质量、精准表达提示词,也能确保图像输出风格的稳定性与独特性。
在通过深入了解并使用LoRA模型后,我们开始思考如何将其与玩法结合并落地于业务的运营活动中。
文小言作为一款AI原生产品,其中囊括了众多AI相关的特色功能。
在已上线的「二十四节气-写诗成画」智能体中,我们期望文小言能依据用户提示词,创作出与当下节气相契合的精美藏头诗海报,但目前AI在此过程中的参与度稍显不足,仅参与了藏头诗部分的生成,节气底图仍依赖设计师绘制。为深度挖掘AI的潜力,我们考虑将LoRA生图能力落地在智能体的底图生成中,通过将两者巧妙结合,制成精美且充满意境的国风水墨系列海报,从立春之始,至岁末大寒,让每一幅海报都似精美水墨画卷般缓缓展开。
通过LoRA将AI生图能力落地在「二十四节气-写诗成画」智能体中,做到快速生成多张相同风格的节气海报,同时也使生成的画面创意倍增,极大强化玩法的AI属性与趣味性,提升用户的生成体验。
另一方面,通过一次性搭建配置平台,只需简单更换节气提示词即可做到节气风格切换,极大简化玩法前期配置所需环节。
同时,该玩法历经长期的更新迭代,已经积累了大量优质的训练集,并形成一套完整的水墨风格体系,基本可以满足节气风格LoRA的训练所需。
训练前期,将现有节气海报图片汇总排列,分析并提炼其共同点和风格特征,从而确定了LoRA风格训练的几大方向:
保持国风水墨风格
:确保LoRA在图像生成时能够凸显画面的意境氛围和水墨晕染的笔触,使观者仿若置身于诗意的山水画卷之中。
强调画面上方留白
:留白不仅是国风水墨画中凸显意境的常见艺术手法,同时也为藏头诗的融入提供了相应的区域,二者相辅相成,共同展现出独特的艺术魅力。
支持节气灵活切换
:为确保图像生成的多样化体验,需在满足以上两点的同时,实现单一LoRA模型对二十四节气的灵活适配,这要求我们深入理解四季变换的自然规律与美学特征,并制定针对性训练策略,让LoRA在生图时充分彰显四季更迭的独特魅力。
在明确了训练方向后,我们正式启动了模型训练流程,遇到问题采取相应策略,见招拆招!
由于目前已更新的节气尚未覆盖全年二十四节气,所以首先需要对缺失图集进行补全。
我们通过将已有图集上传至Midjourney,利用已有图集垫图控制生成风格,在提示词方面强调水墨意境与画面留白的描述,二者结合共同引导,快速补全24节气缺失图集。
经过多轮生成尝试得出结论,关于景色的描述越简洁,画面则越有意境,所以我们借助了文小言的文言文生成能力,得到了简洁优美的画面提示词。
由于AI生成具有极强的随机性,因此我们在训练集准备阶段,通过PS对图像布局进行调整,并根据训练集画面提炼对应的描述词模版,旨在特意强调画面中的留白部分。这一操作不仅是为了给藏头诗预留区域,留白同样也是水墨画中不可或缺的元素,它不仅能够赋予画面呼吸的空间,更能够凸显画面所蕴含的深邃意境与无限遐想。
通过调整合适的训练参数进行LoRA训练,多次训练结果对比显示,若是采取将训练集按季节细致分类的策略,可以增强模型对季节特征的辨识与学习能力,有效避免季节特征间相互污染,确保LoRA中四季的划分。
随后,通过将LoRA结合大模型进行生图测试,寻找最佳生图参数,并通过总结高质提示词模版,做到更换季节、场景描述即可完成高质量、高泛化的图像生成。
最后我们将生成的图像与AI藏头诗巧妙融合,制作出一系列画面精美、意蕴深远的节气藏头诗海报。这些海报不仅展示了中国传统文化的独特魅力,还通过现代科技的手段,让古老的节气文化焕发出新的生机与活力,更为我们带来了全新的视觉与心灵享受。
我们将生图能力整合落地至「二十四节气-写诗成画」智能体后,实现了图像创作的全AI化,它能够根据用户的个性化需求,生成丰富多样的视觉内容。这不仅极大吸引了用户的注意力,还激发了他们的创意互动热情,为用户带来了全新的玩法体验。
这种创新性的运营玩法不仅显著提升了用户参与度,强化了产品的AI属性,更在无形中增强了品牌影响力。后续我们也会通过不断优化训练集内容对LoRA进行版本迭代,在图像创作领域为用户带来更好的体验。
感谢阅读,以上内容均由百度MEUX团队原创设计,以及百度MEUX版权所有,转载请注明出处,违者必究,谢谢您的合作。申请转载授权后台回复【转载】。
MEUX招聘进行中,交互/视觉/用研可投简历至meux-talent@baidu.com
(请在邮件中务必明确标注信息来源,例如:来自MEUX站酷)