VR体积视频赋能教育和元宇宙

（编者：在10月20日，2021世界VR产业大会教育论坛上，威爱科技集团总裁、博士吕云发表了题为《VR体积视频赋能教育元宇宙》的演讲，将VR体积视频技术与教育、影视制作等多个行业的融合前景做了前瞻性演讲，并介绍了已经开发出的数个创新应用，演讲备受好评。本文对演讲内容做了精彩再现。）

元宇宙Mataverse这个词在今年席卷了全球互联网，热度居高不下、人尽皆知。元宇宙是指通过虚拟现实和互联网，构建具有链接感知和共享特征的，平行于现实世界的3D虚拟空间。如果想要有一个直观的认识，推荐大家看一下有由HTC投资好莱坞斯皮尔伯格大导演执导的电影《头号玩家》。

《头号玩家》剧照

元宇宙是一种可以改变人类生活方式的超前概念：在不远的将来，人们可以随时随地切换身份，自由穿梭于物理世界和数字世界之中，在虚拟空间和时间节点所构成的数字世界中社交、工作、学习、娱乐、购物、旅游等尽情互动。

在普通人还不知道元宇宙是什么的时候，互联网巨头纷纷进军元宇宙：Facebook是元宇宙布局的先驱者，扎克伯格表示Facebook组建了专门的元宇宙部门，未来五年要将Facebook从社交公司变成元宇宙公司。英伟达（NVIDIA）公司推出的Omniverse开发平台，为未来元宇宙建立的基础模拟、协作平台。Roblox游戏被认为是元宇宙的雏形。今年3月上市以后，被认为是元宇宙第一股，市值立即上升达到400亿美元。美国Epic Games在4月获得10亿美元的投资用来构建元宇宙基础。这笔融资创下了元宇宙赛道最高融资纪录。腾讯投资收购一众元宇宙相关公司，旗下的天美工作室正在打造代号为“绿洲”的元宇宙游戏。大玩家字节跳动以1亿元投资了元宇宙概念公司代码乾坤，8月又以90亿元左右的高溢价收购Pico正式入局元宇宙。

巨头们举措印证了元宇宙发展到了新阶段。

互联网巨头布局元宇宙

而元宇宙与教育有着不同寻常的关系。Universe宇宙，无所不包，有归一的意思；University大学，无所不教，无所不谈；Metaverse是一个触手可及的宇宙， 也是教育发展升级的窗口。元宇宙和教育之间具有天然的平行性和覆盖性，大学是为学习提供最好的条件， 而元宇宙为全天候学习提供了最大空间和最好的技术基础。

著名心理学家马斯洛曾提出，人的最高级欲望之一就是求知，元宇宙更容易让参与者满足他们的求知欲望， 相信元宇宙的开发和探索最终也会落在求知上。最重要的是，元宇宙可以很好的平衡教育资源，是解决教育均衡问题的最有效手段之一。

Jon Radoff 提出了元宇宙的7层价值链 其中最底层最核心的就是基础设施。元宇宙概念的实现对于基础设施的要求极高，需要大量的基础设施提前布局、跟进发展。而作为物理世界中最复杂的“人”，我们自己，应该如何进入教育元宇宙呢？体积视频技术作为现阶段唯一能够完整、真实、高效捕捉写实的“人”在真实的世界中动态数据的方式，也是在三维空间中能够百分百复制人类运动细节的唯一方法，构成了元宇宙基础设施的最重要一环。

元宇宙的七层价值链

通过球形部署的100多个高端工业相机、激光器、传感器等，我们可以从各个角度捕捉图像，采集全息数据。通过计算机图形学算法拟合成为一序列三维模型和场景。这样拍摄的视频不再是一个二维的图像，而是一个沉浸式的连续3D场景。这就是我们所说的“体积视频”（Volumetric Video）。

体积视频摄制棚

传统的视频是由每秒30帧的静态画面构成，体积视频是由每秒30帧连续三维模型构成。他能记录三维空间中所有的动作和行为，尤其是写实，并将其存储为一个全角度的立体场景。完全没有固定的观看视角，用户可以自由地穿梭在场景之中，从任意角度、任意距离、任意位置观察场景中的对象，并且与之互动。

算法重建体积视频

元宇宙需要与现实高度互通，对现有数字孪生技术提出了沉浸感、交互感等方面的高要求，需要大量写实的动态真人的数字化内容，对于“人”的超写实记录和呈现都是现有技术的最大难题。

现有的CG建模、动捕、面部捕捉等做出来的人物数字模型无法还原动态的真实的人的动作和表情细节，很难做到真实，永远无法做到相同，而且时间和成本极其高昂。

体积视频技术是数字孪生领域中对动态人物精确全面数字化的高效手段，同时解决了时间和成本非常高昂的两个最大的痛点，而且同时实现了高精度，百分之百还原动作与神情。

体积视频摄制棚拍摄动态真人数字化内容

体积视频非常适合需要在多个角度观看的教学和示范活动的记录，也就是凡是需要动手的教育。我们利用体积视频技术帮助著名京剧大师全息保留他最好的演艺水平并作为教学素材，让最棒表演成为永恒；帮助跆拳道冠军保留标准的技术动作作为他自己的教学工具，节省教练体力与成本，使用上好的高级教练并提升学员兴趣。这样的技术用来全面提升我们的在线教育MOOC平台，再合适不过了。

体积视频制作跆拳道教学课程

体积视频将会有非常多的应用场景，包括但不限于在线教育、电影制作、摄影行业、明星娱乐、新闻报道、时装展览、服装电商、医美整容、文化旅游、广告宣传、体育竞技等。体积视频还会涉及到高校的众多专业，包括计算机、软件工程、虚拟现实、数字媒体、影视、表演、广告传媒、时装设计、电子商务、旅游管理、体育管理等等。

体积视频的创新应用场景

体积视频摄制棚可以是计算机、软件工程、虚拟现实、数字媒体等专业的前沿实验室，探索计算机图形学和数字媒体技术在元宇宙领域的深度应用，体积视频摄制棚还可以成为大学的共享资源平台，服务于包括职业院校在内的大学各个学科。

元宇宙将是教育变革的新窗口，体积视频作为“人”高保真的进入元宇宙的重要基础设施，必将起到关键作用。

吕云博士在2021世界VR产业大会教育论坛发表关于体积视频与元宇宙的主题演讲