VR+超高清打造沉浸式文化元宇宙

10月19日至20日，由工业和信息化部、江西省人民政府共同主办的2023世界VR产业大会在江西南昌召开。大会同期，由中央广播电视总台超高清视音频制播呈现国家重点实验室、中央广播电视总台江西总站、世界超高清视频产业联盟承办的超高清主题论坛成功举办。该论坛以“文化元宇宙”为主题，与会专家围绕XR虚实融合超高清制作、VR影像绘制、菁彩三维声、元宇宙、AI大模型等前沿技术发展与实践经验进行了探讨。

大模型作为一种 AI 技术，正在赋能元宇宙的发展。它将现实世界与虚拟世界进行融合，为人们提供了丰富的数字化内容和无限的互动体验。自今年以来，大模型快速发展，为元宇宙提供更强大的智能和认知能力。

“如今，大模型备受瞩目，可以实现跨领域、跨语言、跨媒体的智能化，成为元宇宙的技术引擎和内容源泉。”中国工程院院士戴琼海在视频致辞中表示，“在大模型技术的驱动下，元宇宙可以为人类提供新的创造空间和内容体验，极大促进人类的协作和交流。”

中央广播电视总台编务会议成员、总台超高清视音频制播呈现国家重点实验室主任、世界超高清视频产业联盟理事长姜文波在致辞中表示，当今世界百年未有之大变局加速演进，新一轮科技革命和产业变革日新月异，超高清、虚拟现实、人工智能、5G、大数据、云计算、元宇宙等技术快速迭代升级，新技术、新模式、新业态不断涌现,为视听媒体快速发展提供了千载难逢的历史机遇。

随着智能媒体时代的到来，视听领域全媒体内容生产呈现智能化、沉浸式、多维性的趋势。中央广播电视总台国家重点实验室虚拟现实视觉呈现技术研究实验室副主任谭阳指出，面向文化元宇宙内容生产的虚实融合制作平台包括XR超高清制作、VP虚实融合制作、云渲染、数字人、VR三维影像绘制等新型媒体技术。其中，XR超高清制作技术通过三维渲染引擎在LED屏幕上实时呈现动态虚拟场景，打破了传统抠像技术的限制，实现虚拟空间与现实世界的无缝衔接。

生成式人工智能AIGC是人工智能从1.0时代进入到2.0时代的重要标志，它的出现引发了内容生产力的大变革。“AIGC利用人工智能自动生成内容，实现了多模态内容生成。”上海人工智能实验室主任助理、上海交通大学人工智能研究院副院长王延峰指出，生成式智能媒体的发展阶段经历了文生图、文生编辑、文生视频、文生3D等阶段。他举例说，文生图就是通过简单的文字描述（文本）就能生成想要的图片，文生视频就是文本驱动的视频编辑。

世界超高清视频产业联盟秘书长张文刚认为，元宇宙时代对超高清视音频技术发展产生了新的需求，包括沉浸式视听体验、高效内容生产、实时多维互动、实时及大规模用户在线等，再加上AIGC的加持，可以使整个内容创作大幅度提高效率。

虚拟现实头盔最受欢迎的应用之一是观看视频内容，然而，为虚拟现实设备创建高分辨率视频却存在着一定的挑战。“超高清VR视频的分辨率和视频码率越高，视频的清晰度也越高，但同时对下载网速也提出了更高的要求。”杭州西顾视频科技有限公司VR视频事业部负责人伊万（Afonenkov Ivan）说道。

首次场内外观众同屏互动点燃数字火炬、数智人多端互动、VR互动数智观赛等数实融合沉浸体验，成就了杭州亚运会独特的数智魅力。中国移动咪咕公司技术管理部总经理李琳以杭州亚运会为例，介绍了在直播中采用的AVS3+HDR Vivid 融合商用、5G低时延、AI字幕升级、AR互动、VR观赛、大屏数智人等技术。他表示：“通过这些技术的持续创新，为观众实现更好的视听体验。”

“未来三年，将成为AIGC视频和图形技术成熟的关键时间节点。”华为云媒体服务产品部副总裁甘漠对此进行了进一步的阐述：第一步，从“拍摄”走向“计算”，整个计算量非常大，云制作将实现内容生产力的全新重构，在云上通过一站式的方式共享协同创作。 AI渲染将加速重定义影视级内容制作效率，而云原生媒体引擎能让内容生产从离线走向实时，让影视级技术赋能千行百业。第二步，由“模型”生成“像素”，AIGC定义全新的内容生产模式，进入智能化新阶段。数字空间可以快速实现空间的数字孪生复刻，照片级超高清实时推理呈现；人人可以拥有数字人分身，赋能行业由“真人实拍”走向“AI数字人”。

凌云光·元客视界科技有限公司总经理熊伟在论坛上解析了短片《王勃归来》。他说，“王勃”作为AI数字人，将江西的文化美景融入到视觉短片中，采用了大规模场景扫描建模、大型建筑扫描建模、AI数字人生成等多种技术融合，通过虚拟拍摄手法制作完成。

“虚拟制片可以进行电影背景的制作，它以不同的规模应用于各种直播或者娱乐行业。”阿诺莱德业务拓展总监亨德利（Hendrik VOSS）指出，虚拟制片是真实场景和虚拟场景的融合，在一个带LED的工作室里，演员是真人演员，背景则是一个虚拟背景，可以由计算机生成，计算机上面有一个摄像机并装着一些传感器，传感器有一个追踪系统，通过追踪演员的运动，LED可以转换视角对其进行拍摄。

4K/8K视频技术以更清晰的图像和更细腻的颜色表现，为观众带来了一场视觉盛宴。如何将观众的感官扩展到屏幕外的整个三维空间，为观众带来更加真实的沉浸式体验？央广云听文化传媒有限公司创研事业部副总经理郑强表示，随着双耳渲染技术的发展，让用户在有限的音响条件下体验到更加逼真的声音体验，菁彩不仅是三维音频技术，而且是全国首个音频编码标准，除了开放友好版权和知识产权政策之外，更重要是原数据系统兼容国际标准，可以灵活扩展，为内容创作中提供更好的帮助。

从计算硬件人机交互50年发展看，目前已开启了虚实结合、空间计算的新时代，VR+超高清显示技术是空间计算时代核心产品力之一。为此，小派科技 (上海) 有限责任公司副总裁李杰详细介绍了VR头显超高清显示技术。他说，VR显示包括屏幕覆盖光学和光学覆盖屏幕两种光学成像系统。VR产品为了做到大视场角，搭建的是屏幕覆盖光学的成像系统。这种成像系统使得VR产生了令人惊叹的沉浸感，但这种成像系统也随之浪费了一些“屏幕边角料”，也就是“无效像素点”，实际上被有效利用的像素点数量比屏幕分辨率少一些。光学覆盖屏幕类型的头显产品，相对来说视场角有所减小，能够实现屏幕像素点的全部利用。他提到，Fast-LCD与Mini LED相结合，不仅可以很好地解决漏光难题，也能够进一步提升Fast-LCD在高对比度、高刷新率、高亮度等方面的性能，辅以HDR功能，将更好地发挥VR产品近眼超清显示的画质要求。

最后，李杰指出，不论是什么样的显示技术，都是像素点（晶格）平铺在了人眼的球面空间上。人的视网膜分辨率介于8K和16K之间，8K超高清只是良好视觉沉浸的起点，只有将屏幕的分辨率做的更高，才能同时做到显示效果的“清晰”和“宽广”。“因此，未来的技术方向往空间计算方向发展，最清晰要达到16K、12K，甚至24K等。”李杰说道。