AIGC | 转3D工作流(二)
stable diffusion 转3D分享
我写这个的时候看过了好多别人转3D的教程，当然这个可能也是被玩烂了，我这次总结这部分是一个美术设计的角度去用sd，当我今天再次捡起的时候，跟我第一次接触SD时候的心态完全不一样了，了解了一通controlnet每一个处理器的功能，之前写过一篇，那时候的模型只有canny，现在发现多了很多新的模型处理器，当然方法也没有说很惊艳，都是那些大神开发的AI模型给到这个时代的便利，让我这不会三维也能做出一些绘画上的跨越，而是说利用这种方式，总结自己的一套工作流，能比较高效产出3D，以便于做效果或者训练集。本教程可能有些枯燥，需要对SD的基础知识有一定的了解。
感谢品尝~
01转三维的几种方式
1通过controlnet转3D
2通过训练lora转3D。
左边是我用lora训练的IP然后通过固定角色的方式也能出3D但是还是抽卡且在没有足够多动作训练集比较难出想要的图, 相对成本高，下次再展开。
右边通过controlnet转3D，是目前比较高效的方式，我感觉两者相辅相成。
这块主要是几个步骤：
选模型+打 标— controlnet参数 — 融图 — 高清修复出图
01模型选择+打标：
在AI绘画中，打标是一个比较重要的环节，因为经历过训练模型，所以能理解不同的模型对打标的触发词不一样，在SD中最重要的两个东西应该就是模型和不同参数的应用，这里采用的主模是rev 122+lora模型 blindbox <lora:blindbox_V1Mix:0.8>
lora权重在0.75-1 如果想光影强烈一些可以调高权重，测试了下权重越高，颜色偏紫光，
尺寸：768X1152（这个尺寸是我电脑支持比较高清细节的尺寸，也可以小，尽量是64的倍数，因为训练模型一般都是以64倍数训练的）。
prompt 规范：
（这个是目前总结的,可能后面再慢慢迭代吧.）
- 风格词汇：popular toys, blind box toys, Disney style,
- 画面描述：独奏，全身，顶光，郁闷的表情，骷髅头盔，白色靴子，正侧面，双手抱住，坐在地上，抱膝坐，灰色短裤，短袖，没有人类，灰色简单背景
- 质感词汇：(best quality, masterpiece)
- 3D前缀：(3D渲染，C4D，blender,）
- 负面tag: monochrome, black line, sketch, blur, bad hand, （我发现负面写的多了会有相反的效果，反而重要的东西不突出，因为每一个tag权重都是一样，所以越少越能突出重点，用几个重要的词汇反而效果更能达到预期。）
02图片处理
为什么要处理输入图片?
其实我刚开始接触这个转3D输入的时候会经常发现有黑色描边，之前是在出图过程，用重回幅度加大，多跑几次，然后融图解决这个问题，或者尝试负面tag加入黑线条，其实都比较低效率，因为要反复好多次，我发现身边一些做的比较好的朋友也是出现这种情况，要么在刚开始就处理掉，要么在最后融图的时候解决，测试下来还是在输入端处理更高效一些，所以才有了现在另一种方法，然后处理器预处理基本都是扁平，这样出来就没有黑线问题。
风格化处理:处理成扁平，其实要在单线转扁平，方法比较简单，线条载入选取之后，直接把外轮廓融掉，然后里面稍微做一下阴影，为了拉开物体与物体之间的关系。
03controlnet 预处理器控制
文生图模式：输入两个controlnet :
01color grild + color t2iadapter sd 控制颜色。
02 line art realistic +预处理器control v11p sd15 lineart (这个模型适合提取更精准，而且出图效果更贴近写实效果。值得一品,如果太写实需要点变化可以尝试降低权重解决，根据出图程度灵活变动。)
04PS蒙版融图
跑出来的图，其实多多少少都会有点不完美，第一部明确的就是大感觉，我跑了之后觉得色彩跟氛围，都是我想要的，但是细看细节还是有些不太符合我的预期，所以下面是我处理办法。
01 跑出来进行融图，出来之后放在图生图模式，融图的操作基本就是找一个色彩还原比较好的，取其他局部好的，蒙版融在一起，大概有个效果就可以，进行再跑一轮，保留优点，修改不足，然后再把修改好的图放到SD图生图中再跑一遍，重复工作，反复调整到满意，这个是目前比较稳定的工作流程。。
02 依旧是图生图，做最终效果的整合之后，剩下就是光影和细节的过度，图生图等于新增了一个控制器，就是通过我们调整后的图的基础上进行再次AI修复细节。用到了controlnet 的tile模型，tile_resample + control_v11fle_sd15_tile 我觉得这个模型在生成细节和统一风格的时候很好用。重回幅度越大细节越多，我这里测试第一轮0,3左右，第二轮0.02
修复前后对比： 个人感觉这块是需要你很有耐心，以及对自己的图要求比较高，可能整体大效果几分钟就出来，扣这些细节我要扣个几个小时。
05个人总结：
01图生图中可通过输入图进行颜色控制，可以有效控制大的固有色。
02线稿部分如果是需要线条，可以用line art anime 或者relisitic 真实 线稿。尽量还是要有一个输入图是线稿，不然就会造型偏移。
03.tile模型切换风格，加入这个模型起到3维修复细节的作用。
04 tile适合文生图时候切换，然后输入图放入，加lineart- animie 高清修复，可以得到比较适合的图。
05 跑三维的本质在于模型出图，如果存在一些效果特别不好的质感，可以切换主模方式推导3D，不同模型生成的图，有着不同的优点，A模型跑80% ，切换B模型跑10%，叠加方式融图搭配使用，会变得更好一些。
以上就是全部的分享~
