全息通信能否在5G中爆发

VR/AR和元宇宙的“火”，烧的是人们在虚拟空间中放飞自我的曼妙想像。早在几十年前的科幻电影中，全息通信就是未来科技的代表，是将虚拟与现实结合的一种科技。今年，曾经的未来科技“平价”兑现：通信双方通过微软3D摄像机、OPPO 5G智能手机、Nreal的AR眼镜和爱立信提供的5G网络环境，实现了与“真人”的全息通信。其中3D摄像机、5G智能手机、AR眼镜的总价1万元出头。

如此“接地气”的实现过程，让全息通信再次成为行业关注的焦点：在4G网络中没有的全息通信，能否成为5G网的爆款应用？

全息通信现身5G是必然趋势

全息通信需要实时捕获、编码、传输和渲染对方的3D图像，然后在己方特定的空间中展现出来。

爱立信中国技术部副总经理王浩博说，现在实现全息通信有三种方式，一种是非常简单地提取人类的面部表情，通过动画形式在另一端再现，这种效果并不是很好；第二种是经常可以在一些重大的科技盛会上看到的，把人的3D图像整体传送到现场，这要通过非常精密复杂的仪器和专门的传输网络以及非常专业的投影环境来实现，效果非常好，但是离老百姓应用还非常遥远。“我们采用的是第三种，就是用商用级别的设备和商用网络，实现让老百姓用得上的全息通信。”王浩博表示。

全息通信需要呈现出全息的效果，首先是尺寸要大，接近于真人的尺寸；其次要有空间感，这也是全息图像和视频图像的区别。Nreal副总裁呼显龙告诉《中国电子报》记者：“AR眼镜的呈像方式，使我们能够看到一个接近于真人尺寸的全息图像，而不必用一个很大的显示屏，这种图像和我们在手机上、电脑上看的视频通信图像，体验是完全不同的。”

OPPO研究院副院长、5G首席科学家唐海告诉《中国电子报》记者，目前不仅5G网络能力更强大，终端的算力也已经达到了一个非常高的水平。比如5nm的最新的终端芯片，它的处理能力已经超过几年前电脑CPU的处理能力。更强的网络算力、传输能力和终端算力，再加上像Nreal眼镜的呈现能力，综合来看，全息通信在这个时候出现是某种必然。

5G可以解决全息通信痛点

全息通信未经压缩的信息量是非常大的。如果摄像头传感器输出的是1080P图像，再加上色彩、3D深度图像，每帧图的原始数据会在70MB左右。如果要进一步提高分辨率和帧率，需要的带宽会更大。有分析指出，对于 70 英寸显示屏，全息通信需要约 1Tbit/s 的网络带宽。

在真正实现全息通信时，整个过程首先是捕捉传感器提供人脸和身体的实时“表情”，然后进行编码。在编码前先做格式转换和过滤，以降低对网络传输速率的要求。经过编码压缩的全息影像通过5G低时延网络传输到XR设备。在XR设备上，首先需要对压缩的影像信息做解码和处理，然后通过渲染再现到用户眼前。

5G可以非常好地解决在这一过程中全息通信的一些痛点。

与4G相比，5G的连接能力大幅提升，平均百兆速率，峰值可以达到2Gbps，网络时延也可以控制在毫秒级，没有明显的滞后感。所以，从能力来看，用5G网络承载全息通信是可行的。

全息通信是一个信息采集、压缩、传输然后再复原、再渲染的过程。再复原和再渲染的过程如果是在终端上实现，需要终端具备较高的算力。5G可以减轻对终端算力的需求。“5G有对算力的实时智能调配能力，5G还有边缘计算能力，可以在离用户很近的地方做算力支撑。”王浩博说。

此外，5G还可以为全息通信的应用做体验保障，5G具备网络切片的功能，可以针对全息通信做资源预留。

全息通信当解决捕获技术短板

“全息通信作为未来的一个杀手级应用，需要的是整个产业链的充分配合。”唐海说，“整个产业链的发展水平都到了一定的阶段，才有可能在像手机或者AR眼镜这样的小尺寸设备里面，提供足以满足全息通信的传输、算力、呈现，包括非常稳定的空间感知、视角，以及非常好的人像建模，届时才能带来比较好的用户体验、真正可使用的全息通信，我相信这一天会很快到来。”

谈到全产业链的支撑，呼显龙认为，目前全息通信比较明显的短板是信息采集。“在全息通信发展的第一阶段，全息信息的采集是很重要的，我们希望有一个更加高效而低成本的全息模型的采集端。”呼显龙说。

目前Intel、微软、iPhone已经有相关的采集功能，国内企业在这方面还需要共同努力。唐海说，目前全息通信的信息采信用的是高精度的3D深度摄像头，这种摄像头对于算力处理能力要求非常高。

也有专家将采集功能称为捕获技术，全息捕获是创建物体、人或环境的可测量的3D显示的过程，包括采集、深度估算、数据融合、后期处理四个步骤。采集是利用视觉传感器捕获各种有用信息。3D捕获目前最常见的是使用ToF（飞行时间传感器），通过计算光脉冲到达目的地并返回的时间测量距离。

在深度估算中，ToF可以直接提供深度信息，而立体摄像头和多摄像头是通过不同角度捕捉到的信息来估算深度。数据融合是将不同视角的深度信息融合为单个3D点数据流。后期处理要通过清除冗余点、噪声和异常值来减少3D点数据流的数据量，3D可以生成点云或网格的视觉媒体格式。与虚拟形象相比，由深度摄像机捕获的实时数据需要更多的算力才能渲染。

“4G是视频时代，人人都可以拍短视频，这在过去是很难想像的，因为PC时代制作一个视频，需要专业的摄像机以及编辑软件等各种条件才能实现。”呼显龙说，“未来，如果一个几岁孩子能够通过简单的工具就能获取全息的模型或者视频，实现比现在更好的显示效果，全息通信的爆发就会到来，我觉得这很快就能实现。”