在探索AI技术融入全影视流程的过程中，我们进行了AI与传统影视后期3D作结合的尝试，并在
3D角色生成服装
，以及
3D模型资产风格扩散
两个方向中，都有了一定程度的收获。也通过AI赋能3D技术，驱动了传统影视制作生态体系的变革。
首先角色在整个生产制作中的占比还是比较大的，传统cg角色的制作工作流程非常繁复，在拿到美术概念图之后进行模型的雕刻，再进行材质、贴图、毛发的制作，最后进行绑定再加上动画，才能呈现出3D角色在银幕上的效果。
在3D服装方面，我们把服装材质拆分的颗粒度比较细，可以快速进行调整。比如说色彩、服装的暗纹，包括一些底纹、布料的质感、刺绣等，都可以做到精细的调整和匹配。
在把技术运用到实际项目的过程中，会发现每个朝代都有不同的服装制式。但是其实对于动漫来说，很多仙侠动漫都是以宋代为主进行延伸。不同朝代人的身份维度，对服装有着不同要求，不同身份的人也有着不同的配饰和花纹的需求。我们用服装部件组装的拼装方式，再配合上AI能力，实现了服装的增量。
在纹样的方面，AI还是通过对以往的纹样进行训练，带来了非常多样性的创意体验。不同风格、不同类型都有非常大的拓展。我们还用到了一些算法的能力，可以对现有AI的输出文样进行处理，来生成能直接用于3D贴图的纹理制作。
不同的动漫番剧有着不同的色彩调性，对于服装色彩的需求也不同。利用AI可以快速地生成符合角色设定的配色方案，满足各方面的需求。另外环境和地域对于服装的色彩也有着不同的要求，我们对角色的整体色彩和心理进行了细致的分析，直到能生产出符合角色小传和角色性格的色彩调性。
我们在3D资产的图像生成方向也做了相应的探索。最开始测试了非常多的生成方式，比如常见的像GANs，通过噪声能够随机的去生成3D的形状。还有比较常用的NeRF神经网络和体素相结合的方式，包括最近比较流行的高斯Cube的方式。
特别是3DGAN等技术，能从随机噪声中生成复杂的3D形状。通过对抗性训练，逐步改进生成模型的质量。
VAEs通过学习数据的潜在空间，能保留数据主要特征，同时生成新样本，广泛应用于生成3D形状和纹理。
通过将神经网络和体素渲染相结合，实现了高质量3D场景重建。应用于虚拟现实和增强现实中。
PointNet等网络能够从点云数据中生成3D模型，而体素网格方法则适合处理结构复杂的3D形状。
综合不同技术的优点，如将GANs和VAEs结合，以实现更高质量的3D生成。
利用密度约束高斯拟合算法和最优传输算法，将高斯重新排列到体素网格中，简化了3D模型生成过程。
总结来说就是现在还处在简单应用的阶段，只需要提交一张图片就可以生成一个3D模型。在操作上非常简单，但是生成模型的精度比较低，需要人工介入进行修复。因此我们也是希望能够生产出真正能应用于不同场景的3D资产。我们就去利用AI的创新技术，可以有效地提升效率和质量，降低修改的成本，并且能够生产出符合产业的标准资产，可以用于游戏、动漫、少儿项目中。
我们在探索这个能力的时候，首先我们需要对这个模型进行编辑。我们遇到了第一个问题就是写实的资产存在非常多的细节，但是我们同时还要保持这个结构。我们采用了模型高度边缘检测的方案，并对细节进行高斯处理，然后再次基于高斯的结果去进行风格扩散。同时我们也使用了多种不同分型噪波的方法来重建风格细节。包括晶格顶点形变去改变mesh的比例以及造型。
在贴图方面，我们同样也是基于图像高斯结果去重构了细节，同时采用projection-based的方式，从输入的颜色贴图中去提取固有的结构，维持这张贴图一致性的同时还能进行风格的发散。但是我们还是只在不改变贴图内容的情况下去发散视觉和美学元素。其中就包括颜色的改变、纹理的改变以及整体风格的改变。
另外在光照模型的方面，我们也是根据不同美术的效果，对不同的光照模型进行调整。然后配合贴图输出不同的风格，在PBR和NPR以及多种的渲染光照模型下去寻求平衡，从而实现风格多元化。另外我们也会借助UE5的能力，可以实时的去预览这个模型的程序，实时的编辑和生成。
虽然把AI技术用在影视制作后期的整个流程中仍是一个漫长的过程，但是现在AI的能力已经开始在各个方面进行了渗透。每一个环节都有了AI能力的介入，像模型材质，现在就可以通过图片进行简单的生成，然后经过人工的修复进行使用。包括现在有AI动画的能力，可以从图像上提取骨骼的信息，然后进行动画的呈现。包括有一些特效的能力，在合成模块，我们会有很多像roto paint的这样的工具，包括像matte painting，我们会有创意生成之类的AI能力的介入，让整个影视的制作环节都有了AI的参与。
我们也有理由对未来进行合理的展望，随着AI视频生成技术的发展，3D和实拍可能不再是影视后期制作的唯一一条途径。比如说导演说
“我想要参考图一样的一个女子，身着着敦煌的服装从天而降”
，然后给了你对应的女演员照片。
虽然说精度和清晰度还不是很高，但是已经可以开始去做创意和效果的展示，来满足导演的预览需求。
我们也相信
AI最终会成为后期制作的另外一条新的途径。
随着科技和AI能力的发展，之前很多繁复的工作可以逐渐被AI取代，
设计师可以把更多的时间和心思花在创意和构思上。
AI解放了设计师的双手，但是它其实还是无法取代，至少目前来说无法取代设计师的大脑。
大家不要去惧怕AI，要去拥有它、拥抱它，然后去驾驭它。
