AIGC - Midjourney如何融入现有工作流
Midjourney融入工作流的核心是能够可控输出图像
本文核心观点:
AIGC的真正价值不单在于如何生成好看的图像,更在于如何融入现有工作流,真正做到辅助设计,为设计提效。
最近两天随着网易的一篇文章,拉开了大厂展示AI融入各自部门工作流的序幕,相信除了网易,马上其他大厂都将会跟进。但我认为如果不解决AI工具稳定、可控输出图像的问题,AI实际应用于工作流并不能真正做到高效。Midjourney解决可控图像输出有三个方向可以探索,分别是生图方式、Prompt撰写以及细节参数等。本文将基于Prompt的撰写探索Midjourney可控图像输出的问题。
记上篇文章 - “AIGC如何为可视化大屏设计提效”中聊到,目前AIGC可从视觉风格探索方向对可视化设计行业进行提效。只是单纯针对可视化大屏的视觉风格探索,由于AIGC输出图像的不可控性,目前其应用也是非常有限。
那使用Midjourney如何做到可控输出图像?首先前置说明我理解的“Midjourney可控输出图像”的概念。简单来说就是输出我脑海中想象的画面并可根据需求逐步调整,追求的是画面内容、风格、氛围、视角的可控性,而不是说细节的可控,比如一棵树上叶子的方向等。那到底如何做到Midjourney的可控输出图像呢?我理解可以从Midjourney生成图像的整个流程来看。
Midjourney生成图像的模式
目前Midjourney生成图像的方式分为Text to img、Img to img以及Blend模式,其中Text to img 是文生图,而其他两种都是图生图的方式。后两种方案输出图像的方式较为可控,但是输出的图像从画面内容到风格再到氛围和视角,基本会和原图有明显相关性,因此更加适合我们做有明确意向的图像生成的解决方案。因此针对视觉探索方向,我理解Text to img(文生图)会更适合一些。因此这篇文章也会基于Text to img进行可控图像输出的探索。
Midjourney Prompt撰写
Text to img可控图像输出有两个关键点,第一是Prompt,第二是参数。首先说Prompt,一个完整的Prompt分为四部分,画面描述、画面风格、画面景别和画质,其中画质对整体画面输出的结果影响较小,暂不讨论。剩下的就是画面描述、画面风格和景别,如果想做到可控图像输出,就要采取控制变量法,比如保证画面描述不变,改变画面风格和景别,或者是画面风格不变,改变画面描述和景别,看所生成的图像是否可控。再说参数,目前已知有一些参数可对Midjourney生成的内容进行微调,可在下一篇继续讨论。
关于Prompt的可控图像输出,分为两个阶段,第一阶段是Prompt的画面验证,即能够生成自己脑海中的画面为验证成功。第二阶段是Prompt的控制变量,在可控范围内调整对应的Prompt进而改变画面输出结果。其中第一阶段生成自己脑海中的画面,其实就是对撰写Prompt的要求,能够准确的通过Prompt描述自己脑海中的画面。这个需要练习,可以给大家介绍一种方法:就是先找一张原图,通过自己撰写Prompt,如果Midjourney通过自己编写的Prompt生成和原图风格类似的图片,则表示该Prompt撰写是成功的。第二阶段是基于第一阶段能够准确描述自己的画面之后再通过控制变量灵活调控图像输出。
接下来将分别讨论Prompt可控输出图像的两个阶段。
一、Prompt的画面验证 - 生成自己脑海中的画面
Prompt的撰写有两大难点,首先很多人无法准确描述自己脑海中的画面,这个需要练习对画面的描述能力,没有人能够帮助你。其次是对画面风格描述的欠缺。这个是大多数人在使用Midjourney时所生成图像结果不可控的原因,或者说生成的图像和自己脑海里的完全不一样的原因。这个点是可以通过各种方法解决的,比如网上流传的各种关键词:艺术风格类、艺术流派类、灯光、材质等等。这里我也帮大家汇总了一张图,且说明我们在做风格类关键词时最好是Art Style + Style details的组合。
但这些关键词都有一个缺点,就是你并不知道这些关键词在AI的视角里长什么样子,风格特征较为明显的还好说,比如:“Cartoon”就很有特征,但比如“Paper-Marbling”你可能就会比较陌生,一旦陌生,在Prompt中就基本不会用到。因此我将风格类的关键词进行可视的表达。如下图所示。所有的风格类关键词的Prompt描述仅有当前关键词 + Sphere,意在形成一组较为统一的呈现方式。风格类的关键词有很多,目前下图展示的仅为十分之一,后续我将持续进行汇总归纳。
接下来假设我已经做完所有的风格类关键词的可视工作,我们将通过两个案例来说明如何做Prompt的画面验证。这里用到的就是上文我提到的训练方法:先找一张原图,通过自己编写Prompt,如果Midjourney通过我编写的Prompt生成和原图风格类似的图片,则表示该Prompt撰写是成功的。附上我的练习地址 https://rcsvkm0i9d.feishu.cn/docx/V3GYdWRXUoUKawxpLTVcRZ5WnMe
练习案例一
图源https://dribbble.com/shots/21054014-Retraining
第一轮图像生成
Prompt撰写
三位工作人员在科学实验室中交谈,实验室有科学仪器,电脑,平面插画,画面整体为绿色调,点缀部分红色,简单的形状,全景,8K,场景有很多细节
Prompt:Three workers talking in a science laboratory with scientific instruments, computers, flat illustration, The overall picture is green, with a small part of red, simple shape, panoramic, 8K, the scene has a lot of detail --ar 4:3 --v 5
Midjourney 图像生成
第一轮图像生成效果评估:50分
画面整体色调相似,画面风格略有差异。所生成的图像均带有前后透视,饱和度较高且细节过于丰富。
第二轮图像生成
Prompt调整
三位工作人员在科学实验室中交谈,实验室有科学仪器,电脑,平面插画(权重2),画面整体为绿色调,点缀部分红色,简单的形状,平面设计, Procreate风格插画,全景,8K,减少饱和度
Prompt:Three workers talking in a science laboratory with scientific instruments, computers, flat illustration::2 The overall picture is green, with a small part of red, simple shape, Graphic design, procreate illustration, panoramic, 8K, desaturation --ar 4:3 --v 5
备注:“flat illustration:: 2 ”中的:: 2 代表权重
Midjourney图像生成
案例一图像生成效果评估:75分
通过两次对Prompt的撰写和调整,最终图像输出和原图在风格上有一定差异,但是在画面细节、风格以及色调上给出与原图较大差异的结果。在实际应用中可有效帮助视觉探索。因此也是一次完整的练习。
练习案例二
图源https://dribbble.com/shots/21052416-Greetings-from-Ireland
第一轮图像生成
Prompt撰写
一个坐落在小岛上的房子,花园和池塘,房子周边有树木,羊,房子顶部有烟囱,3D,低面多边形渲染,阳光明媚,梦幻,Behance,纯色背景,全景,8K,丰富的细节
Prompt:A house on a small island with a garden and a pond with trees around the house, sheep and a chimney on top of the house, 3D, Low poly rendering, sunny, dreamy, Behance, solid color background, panoramic, 8K, the scene has a lot of detail --ar 4:3 --v 5
Midjourney图像生成
第一轮图像生成效果评估:80分
画面整体风格,感受力较为相似,但在细节以及镜头方向仍可再进行优化。
第二轮图像生成
Prompt撰写
一个坐落在小岛上的房子,花园和池塘,房子周边有树木,羊,房子顶部有烟囱,3D,低面多边形渲染,阳光明媚,梦幻,Behance,纯色背景,中景,景深,8K,丰富的细节
Prompt:A house on a small island with a garden and a pond with trees around the house, sheep and a chimney on top of the house, 3D, Low poly rendering, sunny, dreamy, Behance, solid color background:: 2 medium shot, depth of field, 8K, the scene has a lot of detail --ar 4:3 --v 5
Midjourney图像生成
案例二图像生成效果评估:85分
通过两次对Prompt的撰写和调整,最终图像输出和原图在风格上较为一致,基本准确还原原图的视觉风格,因此也是一次完整的练习。
Prompt画面验证总结:
这样一种以Text to img还原图像的方法是提升自己Prompt撰写能力的一种方式,通过大量练习可逐步掌握Midjourney的Prompt撰写逻辑及规律,然后为下一步Prompt的控制变量做基础。
二、Prompt的控制变量
Prompt通过撰写的公式可以分为四个部分,即画面描述、画面风格、画面景别和画质,其中画质对整体画面输出的结果影响较小,暂不讨论。剩下的就是画面描述、画面风格和景别,如果想做到可控图像输出,就要采取控制变量法,比如保证画面描述不变,改变画面风格和景别,或者是画面风格不变,改变画面描述和景别,看所生成的图像是否可控。
因此我将尝试分别通过改变画面描述、画面风格以及景别来呈现Midjourney可控图像输出的结果。
画面描述
在开始之前,请大家跟着我在脑海里想象一个画面。“一个穿着红色裙子的女生在森林里、身旁有参天大树,也有许多藤蔓植物、远处还有一间林中小屋透着微光Dark Souls风格、全景”然后让我们将这样一个场景转化为一段Prompt。看一下生成的图像。
Ptompt: A girl in a red dress is in the forest, surrounded by towering trees and many vines, and there is a hut in the forest shimmering in the distance, Dark Souls, panoramic --v 5 --ar 2:1
Prompt控制变量 - 改变画面风格
风格改变方案一
“ Dark Souls ” 改变为“ Breath of the wild ”改变画面的风格
Prompt:A girl in a red dress is in the forest, surrounded by towering trees and many vines, and there is a hut in the forest shimmering in the distance, Breath of the Wild, panoramic --v 5 --ar 2:1
风格改变方案二
“ Dark Souls ” 改变为“ Low Poly rendering ” 并增加 “Sunny, Dreamy, Behance ” 等风格类描述词
Prompt:A girl in a red dress is in the forest, surrounded by towering trees and many vines, and there is a hut in the forest shimmering in the distance, Low Poly rendering, Sunny, Dreamy, Behance, panoramic --v 5 --ar 2:1
画面风格改变效果评估:80分
在基于原图进行画面风格改变的时候,不同风格的关键词可对最终视觉输出产生较大的影响。
Prompt控制变量 - 改变画面描述
原图
画面描述改变方案一
将“一个穿着红色裙子的女生在森林里、身旁有参天大树,也有许多藤蔓植物、远处还有一间林中小屋透着微光”的画面描述改变为“一位穿着红色衣服手持宝剑的剑客在森林里、身旁有参天大树,也有许多藤蔓植物、远处还有一间林中小屋透着微光” 画面风格和景别依旧是“Dark Souls风格、全景” 然后转化为Prompt。
Prompt:A swordsman in red with a sword is in the forest, surrounded by towering trees and many vines, and there is a hut in the forest shimmering in the distance, Dark Souls, panoramic --v 5 --ar 2:1
画面描述改变方案二
将“一个穿着红色裙子的女生在森林里、身旁有参天大树,也有许多藤蔓植物、远处还有一间林中小屋透着微光”的画面描述改变为“一个穿着红色裙子的女生和一只小狗在森林里、身旁有参天大树,也有许多藤蔓植物、远处还有一间林中小屋透着微光” 画面风格和景别依旧是“Dark Souls风格、全景” 然后转化为Prompt。
Prompt:a girl in a red dress with a dog are in the forest, surrounded by towering trees and many vines, and there is a hut in the forest shimmering in the distance, Dark Souls, panoramic --v 5 --ar 2:1
画面描述改变效果评估:60分
基于原图进行画面描述的更改时,整体的视觉风格仍保持“Dark Souls”的风格,主体物根据Prompt进行更改。但场景也会跟随之改变,不过由于Midjourney生成图像的随机性,这点在预期之内。
画面描述改变方案三
前两个画面描述改变方案均是基于原图来做调整的,接下来对Low Poly Rendering 的这张进行画面描述的调整。
尝试将红色的树木和藤蔓改成绿色
Prompt:A girl in a red dress is in the forest, surrounded by towering trees and many vines, tree and vines are green, and there is a hut in the forest shimmering in the distance, Low Poly rendering, Sunny, Dreamy, Behance, panoramic --v 5 --ar 2:1
针对Low Poly rendering的这张图在将红色的树木和藤蔓更改为绿色后,除了画幅2之外,其他图像均有较为明确的更改。但整体的画面背景也有不同程度的更改。
Prompt控制变量总结:
在进行多轮的Prompt控制变量输出之后,无论是针对画面风格的改变亦或是画面描述的改变,均难以控制画面细节修改的“度”,因此仅基于Prompt进行Midjourney的图像可控输出只能做到整体画面的修改和调整无法对细节做渐进式的修改。
三、关于Prompt想与你分享的素材与工具
想写好Prompt,不光需要做大量的练习,肯定还是会有大量的辅助工具可以帮到我们。
素材分享
来而不往非礼也,既然大家看到了这里,总还是想分享给大家一些素材。如果你是偏向游戏原画的设计师,那这个东西是你必须要有的。就是国外一位大神总结的各类风格场景的关键词且都有图文对应。目前截图只是总量的百分之一左右。
工具分享
风格参考网站
https://lib.kalos.art/topic?model=1&topic=0
各类的风格关键词且都有对应的已经生成的图像,有了它,可以生成任何画面。
关键词搜索网站
可以查看已经生成的各种风格的画面,同时也支持搜索功能。点击对应的图片,即可查看具体的Prompt。
https://lexica.art/
可以搜索查看自己所输入的Prompt是否可以被AI所识别
https://laion-aesthetic.datasette.io/laion-aesthetic-6pls/images?_search=HUD+&_sort=rowid
Prompt关键词提取网站
可通过上传图片来分析该图片合适的Prompt,其功能与Midjourney刚出的/describe功能相似
https://replicate.com/pharmapsychotic/clip-interrogator
如果想要领取相关素材,可扫描下方二维码,关注公众号,回复“Prompt素材”即可获取。















































































