2.2.2 沉浸式XR
XR是一种新兴的沉浸式技术,指由计算机技术和终端生成的所有真实和虚拟的组合环境和人机界面,融合了物理和虚拟世界、可穿戴设备和计算机产生人机交互。
VR、AR和MR技术正在融合到XR中。真实的沉浸式XR体验需要不同技术的联合设计,不仅集成了无线、计算、存储等技术需求,还集成了来自人类感官、认知和生理学的感知需求。在 XR的应用中,视觉、听觉、触觉、嗅觉、味觉乃至情感将被充分调动,用户将不再受到时间和地点的限制,将以“我”为中心享受虚拟教育、虚拟旅游、虚拟运动、虚拟绘画等虚拟体验。这需要一种新的 QoPE度量概念来描述人类用户本身的物理因素,与经典的QoS和QoE结合。影响QoPE的因素包括大脑认知、身体生理和手势等。
在用户端,XR体验将由轻型眼镜提供,此类眼镜有较高的分辨率、帧速率和动态范围,可以将图像投射到眼睛上,并通过耳机和触觉接口反馈给其他感官。实现以上功能需要集成成像设备、生物传感器、计算机处理器和用于提供定位服务和感知物理环境的无线技术。传感和成像设备可以捕捉真实的物理环境,并且虚拟世界的保真度也不断提高。沉浸式XR对终端的要求较高,新型的XR终端需要满足轻质、高分辨率/高刷新率显示、高保真定位音频及真实触感反馈等要求,此外,还需增强智能交互方面的能力。而当前的移动设备缺乏独立的计算能力,这些体验加上对分布式计算的需求,突出了无线网络对性能的需求。
对于沉浸式 XR来说,将渲染任务全部放在终端上,对终端的能力和功耗提出了极大的要求。因此可以将复杂数据处理等功能云化,利用云端对模型进行渲染,提升模型精细度,而终端只负责采集和播放视频流,这又可以被称为沉浸式云XR。此时对终端本身的能力要求有所降低,但对网络的要求会进一步提升。
现在的AR技术需要55.3Mbps才能支持8K显示,在移动设备上为用户带来较好的体验,XR技术为了给用户带来更好的沉浸式体验,将需要0.44 Gbps的吞吐量。为了使沉浸式环境中的实时用户交互能够满足大规模低延迟的需求,数据速率需要达到Tbps。随着人工智能和压缩感知方法的集成,6G有望提供不间断和无缝的通信服务,以获得更好的XR体验。另外,同步定位和绘图方法将能够实现XR应用。