XR专用芯片：虚拟世界的硬基石

拥有专用的软硬件是一项技术或产品走向产业化的标志。在相当长的时间里，XR（VR、AR、MR）终端将手机处理器作为主芯片。随着VR应用场景进一步明确，市场认可度不断提升，高通、海思等企业陆续推出XR专用芯片。迄今为止，已有超过45款搭载高通骁龙XR平台的设备发布。更具针对性和功能性的底层硬件，将为虚拟现实的创新发展夯实地基。

专用芯片成刚需

作为兼有显示、感知、定位、交互等多种功能的电子设备，虚拟现实产品需要处理器、MCU、面板驱动芯片、MEMS、感测芯片、加速度计芯片、陀螺仪等多种芯片及零部件。

其中，处理器是电子设备的灵魂。与手机类似，虚拟现实设备需要计算、存储、通信、视觉处理等多种功能，因而第一代VR一体机多采用高通、联发科等厂商的手机SoC作为主芯片。然而，随着虚拟现实设备的分辨率日益提升、交互功能更加丰富，对专用芯片的需求也步入正轨。

“相比于智能手机等小视野设备，沉浸式的XR体验由于视野较大，对于分辨率、刷新率、用户感知、环境感知、定位技术的需求都提升了一个等级，因此对处理器的性能和功耗需求也更高。”高通公司中国区董事长孟樸向记者表示。

TrendForce集邦咨询分析师姚嘉洋也向记者指出，效能表现是XR处理器的重点。AR/VR应用与人眼有较密切的联动关系，成像距离贴近眼球，对眼球的侦测能力是智能手机所没有的功能，也是VR/AR的关键。同时，头盔式VR更加看重传感器芯片的反应速度，乃至将多传感器芯片所取得的外界信号加以融合处理并实时反应的能力，与处理器效能表现密切相关。

AI和5G是关键

虽然XR专用芯片方兴未艾，但已经推出产品的高通、海思等企业，对于XR芯片的属性进行了探索和实践。除了对显示、交互等虚拟现实基本功能的强化，5G和AI也逐步成为XR芯片的关键属性。

众所周知，5G的低时延和超高数据速率，是改善虚拟现实体验的关键。“5G能够通过支持终端和边缘云之间的分离式处理，营造逼真的高品质体验，从而摆脱任何线缆或空间的束缚，实现真正的‘无界’XR。”孟樸向记者表示。

据悉，骁龙XR2平台是全球首个支持5G连接的XR平台，海思XR也通过5G/WiFi6等高速传输技术，有效降低传输时延。

智能场景识别是AR的基本功能，需要从图像采集、分析、上传到显示，其中分析阶段是整条链路中耗时最长的一环，需要芯片具备强大的NPU算力支持。海思XR芯片具备独立的海思专有架构NPU，能提供高达9TOPS的AI算力。骁龙X2也利用AI提升视觉、交互性和音频等多项特性，以便让用户沉浸在更智能的现实中。

在显示方面，人眼能达到的理想分辨率大约为60PPD（每度像素数），海思数据显示，如果芯片能够升级到8KP120的硬解码能力，就可支持两倍于主流VR的分辨率，极大提升了用户视觉体验。海思XR芯片支持4K/6K/8K超高清解码显示，并具备4K超高清低延时编码能力。同时，要在XR世界中营造更强的真实感，必须缩小真实与虚拟世界之间的视觉差距。这需要最先进的显示和图形处理能力，诸如支持眼球追踪的视觉聚焦渲染和支持更流畅刷新率的增强可变速率着色等XR专属特性。

在交互性层面，XR可以让用户置身于前所未见的全新世界。为了确保这一过程的精确和高效，骁龙XR2引入了七路并行摄像头支持和定制化的计算机视觉处理器，并且支持26点手部骨骼追踪。计算机视觉提供高效的场景理解和3D重建。这些特性共同助力，将用户带至全新的虚拟环境。

芯片优化助力VR未来发展

VR产业向前走，有赖于芯片技术的持续优化。

在能效方面，由于人眼的运动速度相当高，在使用一段时间的XR产品后，用户容易昏昡不适，这与处理器效能不足有关。

“芯片厂商如何在效能方面有所突破与精进，会是XR接下来发展的重点。由于VR/AR装置与人类皮肤相连，必须留意能源效率与散热的问题，这也有助于系统整合商在结构设计上免除不必要的散热设计，实现设备轻量化。”姚嘉洋说。

更贴合虚拟现实特点的软件和算法，将更有效地调度硬件资源，提升用户体验。

“我们将继续主推骁龙XR1和XR2平台，通过更多软件和算法，实现平台性能提升，加入用户交互、视觉、听觉、连接等新功能，赋予骁龙XR1和XR2平台更多生命力，让客户能够基于现已发布的平台打造更加出色的新产品。”孟樸表示。

在软硬件持续精进的基础上，XR将进一步解决空间计算问题，使虚拟与现实的融合更加圆融。孟樸表示，空间计算是XR交互应用中的基础技术，包含了两大层面：第一是用户的身体感知；第二则是空间定位。基于两类精准计算，才能够把虚拟物体放在现实世界中，并和现实世界完美融合。

除了技术层面的改善，XR芯片平台还需要与具体行业和场景结合，以贴合市场需求，有的放矢地发展。

“XR平台的性能优化和功能拓展归根结底都服务于具体的应用场景。正因如此，XR的发展需要整个产业链合作伙伴展开更加紧密的合作，共同打造更能满足市场需求的产品。‘共同参与、共同合作、共同受益’，将是整个XR生态的繁荣发展之道。我们正通过一系列生态系统合作项目，汇聚更多产业链的领先企业，增强XR相关产业的创新能力，推动和优化生态合作，从而共同加速XR在各行各业中的应用。”孟樸说。

专家观点

中国工程院院士、浪潮集团执行总裁兼首席科学家王恩东：

XR算力要求巨大

AR、VR对渲染方面的计算需求非常巨大。比如几年前拍的电影《阿凡达》，所进行的渲染需要6000个处理器计算一年。如今有更多的VR、AR内容制作，特别是VR、AR由光线追踪到路径追踪，由原来的部分沉浸，到目前实现完全的沉浸，像电影级的体验，需要成千上百倍的计算能力的提升。

要进一步推动计算力的发展，需要关注智慧计算在未来的三个发展方向：一是融合，二是开放，三是敏捷。

高通公司中国区董事长孟樸：

5G、AI助力实现“无界XR”

目前，XR、AI和5G这三大关键市场和技术正在融合。5G技术能够解决XR行业面临的诸多难点。例如5G网络的高带宽可以解决高清XR内容的无线传输问题，它的低时延特性还能有效减轻因画面延迟产生的眩晕问题。5G+XR还将推动XR眼镜的产品形态和功能进一步优化，让XR产品更加轻便易用。

为顺应这一趋势，高通在2019年就推出了全球首款支持5G的XR平台——骁龙XR2。此外，AI技术也将进一步增强XR服务和应用，将用户体验推向新的境界。例如AI对于XR应用中头部、手部、眼球等的追踪、语音输入等方面至关重要，5G与XR+AI的结合还能实现分布式渲染，也就是我们所说的“无界XR”，让用户感受到真正无拘无束的XR体验。

上海海思总裁熊伟：

XR是下一代计算平台

得益于算力、联接和显示的革命性升级，XR还将是下一代体验革命和计算平台，是数字世界和物理世界融合的进阶。在XR领域，上海海思以沉浸体验、流畅交互、轻便舒适为目标，利用8K、AI、5G等核心能力，在极致音视频、高性能计算、多感知融合、高性能无线连接等技术领域持续投入，与合作伙伴共同引领产业发展。