迈向5G系列报道： 以5G之名拯救VR？

从讨论5G需求的第一天开始，VR/AR就被看作是5G重要的应用。2016年，VR/AR迎来了第一轮发展高峰，当年相关融资高达300亿美元。但VR戴带后的体验，尤其是明显的眩晕感让人不适。2016年，5G刚开始进入技术测试，整体技术构架还很稚嫩，有专家已经言之凿凿，5G的低时延能够解决眩晕。到了2018年年底，5G即将展开试商用，而VR则像过山车一样行至谷底，曾经的“杀手级”应用是否需要5G来拯救？

韩国首次尝试5G+VR

奥运会是向全世界展示新技术的绝佳舞台。2018年在韩国举办的平昌冬奥会上，一部分观众已经现场体验了5G+VR带来的全新观感。韩国电信(KT)VR项目总经理Lee Youngho说，平昌奥运会上，KT提供了360度的VR服务、同步视角服务、全场景观看服务。

在360度的VR服务中，KT围绕滑冰场地设置了数个360度的VR摄像头，并在场馆二层开辟了VR观众体验区，观众带上VR头显设备，可以以360度的视角观看运动员的滑冰比赛，从VR摄像头到观众的VR头显设备的视频信息传输，是以设置在比赛场馆四周的5G基站实现的。同步视角，则是将摄像头装在运动员随身装备中，观众可以同步运动员视角，体验运动员的参赛体验，如滑雪项目等。

KT还可以提供观众想看的比赛中任何瞬间的画面，在花样滑冰场馆，KT沿冰场密集部署了100个高清摄像头，观众可以从任意角度重看这场比赛。

借用奥林匹克运动会向世界展示5G技术与应用能力已经是运营商5G商用落地总体计划中的一部分，在韩国2018年平昌冬奥会之后，日本的2020年东京奥运会、中国的2022年北京冬奥会也可期待。

VR新产品指向XR

中国工程院院士赵沁平认为，VR前一阶段的跌落符合Gartner新兴技术曲线第一阶段特点，VR正在复苏，各项技术也将更加成熟。而从娱乐游戏中诞生的VR，如今更被一些人视为下一代的计算平台。但这个平台不会像现在VR头显（HDM）那样笨重，不会遮挡人的正常视线，而且应该时尚、便携。

高通展示了一款时尚轻便的XR概念眼镜。眼镜看上去和普通眼镜一样，但在镜架、镜框和镜片上，集成了多种传感器和芯片，例如骨传感器、定向扬声器、追踪与记录摄像头、健康传感器、惯性传感器、高敏感话筒、4G5G的多模连接芯片、许多被动和主动的使用鱼眼镜头和长焦镜头的相机、光电夜视和热成像传感器、眼球追踪相机以及耐用并且半透明显示的光学投影组件。这些组件的重量、集成度和性能，绝定了XR眼镜的佩带体验。

这种移动XR眼镜的好处是可靠，随时随地可以使用，无需设置，电池供电时长，超轻设计，而且可以利用移动生态系统的规模，实现低成本。而现在用得较多的是基于PC的HDM设备，虽然不受功率和热量限制，但高端体验昂贵，HDM与PC之间的电线限制了直观的操作和沉浸感，而且PC的HDM使用限于固定位置。

但目前移动XR的情况还远没有如此乐观。据赛迪集团发布的VR产业地图，其中对VR技术产业做了成熟度矩阵分析，有大量的基础技术需要长期等待。目前全息显示技术还处于成长期，如透明显示器的成熟预计要用5到10年，这是XR眼镜的重要组件；还有一些技术刚刚处于萌芽期，如体三维显示、外骨骼、步态识别技术等。

现在VR头显依然是使用频率最高的，而从用户体验角度出发，移动XR方式日受重视，而且基于移动XR，利用5G低时延、大宽带和高可靠等特点可以为移动XR更好的使用体验和性能体现，这将驱动移动XR技术加速成熟。特别是在芯片级方案上取得突破。

5G支撑边缘云渲染

为了保证移动XR眼镜的轻便、时尚性，XR眼镜上只放必须功能，如前端摄像头、传感器等。图像的渲染需要大量的计算能力，XR眼镜只能做必须的处理，因此渲染的分割完成是一个关键技术。

分割渲染是将必须在XR眼镜上做的渲染处理和可以放在云上做的渲染处理分开，最终呈现时两个渲染要同步，这样才能看到完整的虚拟现实或者增强现实的画面，因此分割渲染的那部分尽管不在XR眼镜上，但要靠近用户，以边缘云做计算、5G做传输实现低时延的渲染协同。

清华大学与美国普渡大学展开的Furion项目是想解决手机VR的边缘计算问题，这虽然和移动XR需要的边缘云渲染不完全相同，但对研究分割渲染的特点有重要的借鉴作用。

一开始，Furion项目在实现无线VR时用了两种方法，一种是云端渲染高质量VR画面发至手机，遇到的问题是移动网络带宽不足、帧率受带宽波动影响画面不稳；另一种是手机本地渲染VR应用，出现的问题是手机发烫、画面容易卡顿。

针对移动VR，业界也提出不同的解决方案。例如微软提出FlashBack，核心思想是预渲染+缓存预测。但VR需要预存50GB，以现在智能手机的存储无法支持实时交互的虚拟现实应用。

清华大学教授崔勇说，手机VR的渲染有前景交互和背景环境，其中一部分的前景交互和背景环境的渲染工作是可预测。VR手机上根据实时交互渲染前景，远端做预渲染背景并进行编码，并将临近使用的编码数据预先传到手机上。这类似于动画片制作，场景变化不多，场景部分的渲染就是可预测的，人物表情、动作会变化，这部分渲染就要实时完成。

Furion项目还提高了渲染效率。就目前VR节目源信息，手机解码一个全景帧大约需要40ms的延时，Furion项目采用了并行解码的方式，延时降低到约13ms。多个CPU核一起工作，使原来本地每秒做5~7帧的渲染，提高到每秒58帧左右。对CPU的占用多，是有代价的，需要手机电池“抗”得住。

无论是VR\AR\MR以及移动XR，还是正在发展中的越来越逼真的3D全息显示，每帧图像的数据量在成倍地增长；同时每秒帧数也在增加，24帧仅满足视觉的连贯，每秒30帧到60帧才能够提供高清的视觉体验。VR所需要的高带宽、低延时、大计算量，对通信网络提出了新的挑战。5G网络具有更高速率、更低时延、软件定义网络和移动边缘计算等5G网络新技术，可以根据业务需求匹配网络和计算资源，能够更好地满足VR业务需求，为用户带来更丰富的体验。

5G不是挽救VR“眩晕”症的妙药，5G要拯救的是VR的体验，炫酷的同时轻便、时尚、互动，5G马上来了，VR请加油。