xr虚拟跟拍拍摄系统

想知道XR虚拟演播厅是怎么实现的吗？来看看XR虚拟演播厅技术分解吧！

近来，XR技术开始走进大众视野，越来越多的演唱会、发布会现场、电影拍摄现场以及电视节目等开始运用高科技感以及逼真感十足的XR技术，开辟拍摄制作又一新玩法。众所周知，XR技术是一种融合AR、VR、MR技术的扩展显示技术，那XR技术是如何融合并在屏幕前实现炫酷画面的呢?

XR场景技术框架包括LED显示屏组成的拍摄场地、摄像机、物体位置追踪与定位技术、实时图形渲染引擎(AR技术)、高速低延迟的网络等几大元素，最后将内容传输显示屏幕前，就成为炫酷的逼真的XR场景。

XR场景的实现，首先将虚拟环境传输至现场的LED显示屏，采用物体位置追踪与定位技术对物体进行跟踪拍摄，并将素材传回至实时图形渲染引擎。与此同时，视频服务器则用本地化运行逻辑运算进行人物手势分析及图形渲染，输出立体的逼真的AR内容与拍摄素材交互呈现，而在屏幕前呈现的内容就是XR场景。值得注意的是，在现场还需要强大的网络支持，为实现XR低时延交互、全景视频等内容大带宽下发等提供强有力的支持。简单的说，XR场景就是基于现实场景，与后台炫酷的AR内容进行结合交互而来的，所以XR技术被誉为AR、VR、MR技术的融合。

我国短片《只为梦中与你相遇》，首次采用虚拟拍摄方式，把 XR工作流程与影视行业的工作流程相结合并实行最终内容的输出。短片现场无实景、无绿幕，实时渲染场景，而演员在LED屏幕所构建的空间中进行表演。在场景渲染上，XR扩展现实使用实时渲染引擎搭建拍摄场景，通过媒体服务器输出合成，运用摄像机追踪系统定位空间位置信息，实时映射人物与场景的空间关系，实时渲染技术将照片级别的动态数字场景，在LED屏幕上还原，并实时呈现并输出一个无死角的虚拟场景，最终形成具有XR场景的短片。

此外，2022年的英雄联盟全球总决赛舞台也采用了XR技术进行实时直播。由于是现场直播，没有任何重来的机会，所以一场比赛就有几十台摄像机参与其中。现场使用的全部是红外摄像机，而且在S10现场的墙壁上，有大量的这种小点，这些小点的目的是为了反射红外线。所有的红外摄像机都会安装一个特殊的模块，当摄像机移动时，它们会根据这些点的反射还有方向等，对摄像机本身进行跟踪，再实时反馈给计算机中，这套技术方案使得虚拟和现实的误差小于1毫米。另外，团队通过自己开发的插件，把Unreal引擎中的灯光与现实中的skypanel进行了匹配，也就意味着引擎里的灯光发生变化，现实中灯光也会进行同步，虚拟内容与赛场交互融合，呈现一个新的赛事直播方式。

11月10号，我国"奋斗者"号载人潜水器成功坐底马里亚纳海沟的重要时刻，中央广播电视总台央视新闻频道、央视新闻新媒体通过xR虚拟演播进行了同步科普讲解。用虚拟环境将 LED 屏幕之外的现实环境实时覆盖，并完成虚拟环境拓展的处理。详细地说就是，摄影机追踪系统 Mosys 的运用使得直播中的现场摄像机与虚拟摄像机始终保持一致与同步，并在 XR 虚拟演播室现场使用了1台 disguise vx4 媒体服务器，作为虚拟渲染引擎增强渲染和控制，而工作流程将 AR 技术带入环境之中，通过使用 Black Trax 动态追踪系统实时了解参演者和虚拟影像的位置，从而与 CG 内容更好的互动融合，给观众一种身临其境的体验，将视觉效果的传递提升到一个新的维度，与全国观众全景体验大洋10909米处的至深之蓝。

极具未来科技感的XR技术已经在我国生根发芽，个别已经开出美丽的花。虽然XR技术才刚刚兴起，但目前应用范围已经逐渐被拓宽，技术也愈加成熟。随着小间距显示技术的进一步成熟，以及点间距的进一步下探，高清细腻且可以实现裸眼3D显示，未来可以更好地当好背景板;5G网络的进一步落地，XR技术知名度的持续提升，以及相关人员技术培训体系的完善等，都将推动XR技术开始走向成熟。