2019世界VR产业大会人工智能分论坛：5G+AI重塑XR未来

编者按：10月20日上午，2019世界VR产业大会“人工智能”分论坛召开。本次活动由上海科技大学VR与视觉计算中心、叠境数字科技(上海)有限公司承办，工业和信息化部电子第五研究所、江西优联投资发展有限公司协办。本次活动以“5G+AI重塑XR未来”为主题， 与会嘉宾就5G+AI 将给VR/AR带来趋势变化进行了深入的讨论。

江西省工业和信息化厅二级巡视员陈军：

5G是驱动力、AI是催化剂，将给XR带来颠覆性机遇

近年来，江西省委省政府高度重视VR产业发展，把推动VR产业创新发展作为贯彻落实制造强省战略的重要举措，积极打造好世界VR大会这个世界级平台，加强全球合作，构建全新的VR格局。今年六月，出台了《江西省虚拟现实发展规划》，明确VR产业发展目标和重点，并列入了江西省2+6+N的行动计划，力争到2023年左右，将VR产业打造成为超千亿级的产业。江西省还出台了加快推进虚拟现实产业发展的若干意见，涵盖技术创新、推广运用、培养人才、融资扶持以及公共服务等五大领域，努力打造VR产业集群和创新高地。在推进产业发展方面。

目前，南昌现已聚集VR产业近百家，与之相关的电子信息产业产值突破千亿元，VR产业已成为江西省发展的强劲动力。全球新一轮科技革命和产业变革蓬勃发展，新技术、新产品、新业态加速向各领域广泛渗透，5G技术对经济社会发展乃至人类社会带来深刻的变革，作为引领未来战略性技术，5G正全面赋能各行各业，并将进一步释放科技革命和产业变革积蓄的巨大能量，推动社会生产力整体要素变革，将极大的推动XR产业的发展。同时，AI技术中的计算机视觉与追踪，在XR领域的应用已经非常广泛，但技术的发展不仅于次，作为基础设施的5G是驱动力，AI是催化剂，在5G高速公路的带动下，XR应用场景更加多样的同时，三者互促式发展将为XR带来颠覆性的机遇，为XR在更广泛的应用领域开辟新天地。

工业和信息化部电子第五研究所副所长王蕴辉：

AI将在渲染、制作、交互方面促进VR发展

随着技术的发展，虚拟现实和虚拟增强现实正加速向生产和各种领域渗透，在影视直播、游戏、教育、工业等领域，已经有了应用落地。一直以来，人工智能与虚拟现实两大热点领域的融合发展，随着计算机视觉、语音识别等AI技术的不断成熟，人工智能对于虚拟现实产业的推动也日益显著。主要体现在三个方面：一是渲染处理。深度学习的渲染成为人工智能在图像渲染领域的重要创新。二是内容制作。以真实用户的虚拟化和三维重建为发展对象。进一步增强VR内容的交互性，以真实用户为对象的虚拟化身成为近期的热点，传统的方法依靠的是昂贵的设备和繁琐的后期处理，新一代的方法是基于深度学习技术，通过学习知识可以从一个或者是多个二维头像中，恢复物体的三维几何和结构，而无需复杂的过程。三是感知交互，通过结合计算机视觉与生理信号的反馈，打造虚实结合的体验。VR技术大大提升了VR的体验。

我们如何对VR/AR性能开展评价?这也是我们今后需要研究的一个热点方向，基于我们对技术、行业发展的调查和研究，我们设计了虚拟现实性能的评价体系，分别从交互性能评价以及用户体验评价这几个方面开展工作。总结来看，第一个是AI极大地推动的VR技术的发展，两者的结合将将会带来更加深度、更加沉浸的体验。第二个就是VR/VR的评测技术，将为VR/VR产品的性能优劣提供一个统一的评判标准。推动AR/VR评测可以为行业的发展提供有力的支撑，未来，还我们还将开展AI+VR的融合研究，优化算法，丰富我们学习的样本，完善VR/AR的性能评价体系。

多伦多大学计算机科学系教授基罗斯.库图拉科斯：

主动3D成像将在清晰度和分辨率上改善VR/AR

3D相机对于虚拟现实产业的发展有着非常重要的作用。3D相机其实和我们之前所使用的相机完全不同，这些3D相机可以测量距离，通过加工光线的强弱来测量照相的距离，并且可以对周边的环境进行一些测量，他们可以应用到手机、耳机、眼镜等等里面，或者可以放在车上。我们所研发出的这个相机，它有很多的体系，能够引入到很多的体系中，也就是我们称为主动的3D成像，可以用在我们的经济体系中，通过使用这种主动的3D成像技术之后，可以进行建立3D的成像体系。相机里面有不同的系统，它们在设计的时候，就可以应用到很多复杂的应用中。而且成本也可以有所控制，这些设备其实能够使用不同的技术、高端的或者光速技术，以及能够使用商业的扫描技术中，而且可以在很长的距离中，可以实现3D成像技术。而且他的精度也很高，它的清晰度、分辨率都很高，能达到微米级的距离。因为使用的是三角测量的方式，它的准确度很高，而且短距离和长距离的摄影效果都非常好。这种相机目前是高端技术，它的价格可能会稍微高，它可以使用很多的3D的成像点进行连接。

从消费者的角度来说，以前的相机可能比较便宜但是功能非常有限，所以以前的相机在一些高暴光率的情况下，摄像的结果并不好，尤其是太阳很强烈的情况下。而且从消费者的角度来说，它也没有办法进行扫描或者对于一些复杂材料进行加工，这些加工的方式都是很不好的。所以说，为了能够去解决这些问题，我和的学生我们希望能够推动消费者在使用相机的时候，解决他们所遇到的问题，把我刚刚提到的这些问题在分辨率、拍摄的清晰度方面都能够解决。

叠境数字公司联合创始人、CTO Jason Yang：

利用深度学习实现更少拍摄带来更精准重现

目前电影界使用AI技术已经非常广泛。随着科学和技术的进步，我们能够从电影世界当中感受到AI的进步。除了电影，在现实生活中AI的应用也非常多，包括生活中的机器人、虚拟现实的模拟等。当我们希望将现实和虚拟技术重叠在一起会有更多的挑战。

而我们所做的技术，比如这个3D的游戏，游戏里面加了虚拟现实以后，能够使得游戏变得更加有趣，比如脸书公司利用AI技术来更好地帮助企业发展和实现更多更好地人和人之间的互动。

表情研究、表情分析在AI中的应用以及VR中的应用越来越广泛。我们公司的业务之一是对表情进行分析研究。在这个视频中，我们看到被拍摄的人物是在动的，所以在虚拟现实中对他进行模拟重建是比较困难的，因为有很多的问题，比如真人成像过程中，我们要看到头发、皮肤、眼睛、嘴巴、脖子等，这些真实现实的生物元素进行处理很复杂，在渲染的过程中要花非常多的精力。传统的3D三维的重塑，利用很多的摄像机，对准要成像的真实人物进行拍摄，然后进行3D建模，依然看到很多不足，因为尽管放了足够多的摄像机之后，依然有很多动作、角度、肢体的信息无法精准捕捉进来，因为身体有些部分是被遮挡住的。所以我们需要利用更多的数据来解决这些问题。我们采用深度学习等技术进行数据的分析和研究，同时与上海理工大学进行合作，就可以使用更少的相机拍摄，捕捉到更多的画面。我们也在和华为进行合作，考虑是否可以使用相机，把现实中的人创造成一个虚拟的人。

加州理工学院计算与数学科学教授马修.德布伦：

机器学习与粗粒化研究相结合，能够提升模拟的精准度

人工智能、虚拟现实可以在很多方面帮助我们进行改进，获得提高。比如利用虚拟现实与人工智能结合进行外科手术培训，可以帮助医生提升以后手术的精准度。比如我们通过人工智能、虚拟现实的方式进行检测、测试肝脏在进行手术的种种情况，让外科医生了解在手术过程中怎么样操作才能更好。

而要实现精准的模拟，同样是会面临很多困难，比如一个肝脏，我们在模拟的过程中，会发现模拟出来的肝脏有点太柔软，与实际人体肝脏的结构不太一样，精准度受到了影响。因为我们在进行模拟的过程中，没有办法去确保所有肝脏的特性都能够被我们收集，我们需要找到接近于肝脏组织的弹性，而平均弹性的掌控非常有挑战，我们还应用了不同的弹性材料，不同的弹性材料有不同的弹性，比如有线性弹性、同性弹性、纵向弹性、横向弹性。通过不同的方式来实验来模拟，希望看清其中的变化。而从几何学角度说，我们必须要简化，同时也要对物体进行物理学的考量。比如说肝脏，肝脏里面有很多的小血管，如说血管是比较刚硬，就会导致了我们所做的研究的结论不正确，因为我们做肝脏研究的时候，没有将小血管考虑进去。不管怎么说，在做研究的过程中我们也考虑到不同类型的参数。关于粗粒化的研究有很多方法，目前关于粗粒化的研究还有远未完美，而且我也相信未来VR行业粗粒化的应用有非常广泛空间。通过机器学习，也可以帮助粗粒化研究变得更加完善。所以，我认为在未来粗粒化的研究和机器学习相结合，能够将运动的精细化模拟做到更进一步的提升。

特尔VFX特效负责人、电影艺术学院成员赫莲娜·派克：

奥斯卡应该有一个奖项颁给AR/VR

我们从出生之日起，就寻找不同的方式展示我们是谁，讲述我们自己的故事，以一种无穷无尽的方式去讲述，包括中国的京剧，好莱坞的电影，都是在寻找不同的方法来讲述我们自己。在好莱坞正在创造一些工具来帮助我们讲述自己的故事，比如让相机变得更大更快，使之能够捕捉我们的生活、动作、情绪。我们从来都没有停止继续创造工具，来表达我们，比如绘画工具，比如戴上VR眼镜进行绘画，出创造和感受世界。

目前，一些知名导演或者影视创作人，都在使用AR技术，使用这种技术，把一个人的情绪把它转化成AR智能的情绪。我们已经可以通过人的表情，植入到不同的虚拟人物中，我们通过用CGI的方式，创造出人的骨架，让他们就可以移动。通过人工智能，我们可以加入很多新的东西，推动人建模的发展。我们希望通过数字人建模的方式，让数字人物能够让像真正的人一样有更多的话语和表达功能。

在虚实现实中，我们通过人工智能帮助我们塑造自然的环境，把人的情绪植入到虚拟世界中。比如《复仇者联盟》，他们使用的就是渲染以及人工智能和塑造建模的方式，提升动作上的相互匹配度、数字化人物的灵活度。目前，我们可以使用人工智能的方式把人和场景进行分割，可以把人区分出来放在不同的场景中。还通过粒子的模拟方式，帮助我们进行仿真，比如对火、烟、水进行仿真，通过人工智能仿真可以看清火的特性、形状，以人工智能的方式将其创造出来。我们希望缩短模拟仿真时间，也在致力于通过手机就能完成，加速我们拥有更多更好的VR方面体验感。互联网已经向我们开放了创新机会，让每一个人都能够有机会通过使用互联网以创新的方式来讲述自己的故事。比如推特、抖音等，有ARV/VR的帮助，好莱坞也会进入到一个新的创新时代，所以奥斯卡奖也应该颁给AR和VR。

大阪大学信息科学与技术研究生院教授松下康之：

3D传感技术能够更精准地捕捉现实世界

3D传感技术为什么如此重要。传统的照片成像是通过对于成影和光影的结构来塑造形象和结构。这些方法有好处，也有坏处，比如几何图形的方式，它可以塑造出你的整体结构，但是它细节描述不够，没有办法提供很多深入的信息。照片成像的方法可以帮助你找到很多细节的信息，但是只有细节信息，大体结构并不是很清晰。

而表面法相技术，我们用几何的方法设立结构，通过表面法相传感与几何重塑的方法结合，能够很好地为形状做恢复，并且添加更加高分辨率的细节。我们通过不同的测量方式，在这个公式里，M在代表测量，N代表测量的面有多少，L代表光源的方向，H代表的是表面法相的表面，B是反射率的功能，利用这样子的计算公式，最后光源成像，使用表面法相然后进行立体渲染，会得到很好的成像效果。

深度神经网络有什么作用呢?光度学应用在立体渲染其实是很复杂的一个技术，比如一些老图像，要进行重塑会要求有一些固定光源的方向，但是我们用了深度神经网络，就能够很好地分析、提取、融合，能够让我们实现更精确的网络化重建。

我们还有一些挑战，尤其是进行光学实验的时候，过去的方法都是在光源非常强劲的情况下进行的实验，而且光的垂直照射度非常高。事实上这是一种罕见光源和标准光源，但现实的情况却千差万别，比如很多时候是近光，就像灯泡的光一样，它照射出来的效果就不一样，还有很多时候是无标定光源，也很难测量，还有一些场景光照可能产生内部的反射，也很难测量，还有的光源点照射到了物体上会产生折射和反射等等，这种情况我们也无法进行精准的测量。所以我们需要新的光学测量法，需要3D传感技术，来更精准地捕捉现实世界，并将其数字化。

视+AR 联合创始人&COO涂意：

基础设施建设是现阶段首要问题

AR是被VR给带起来的，现在的大趋势就是AR与VR不分家。与此同时AR与VR又有很大不同，AR有虚拟和现实融合的价值。比如在维修汽车的时候，可以把相应的信息添加到汽车的结构当中，这样能够非常便捷。所以AR可以提升信息传递的效率，这与跟VR很不一样的。同时AR的发展，应该是线上驱动结合线下驱动的。而5G的架设是一个很漫长的过程，所以5G会逐个击破，会从高价值的点开始布局，比如先商圈、人流很大的商场、景区开始部署。其实AR也是一样，如果从线下驱动的话它一定是需要按地域来的，比如从景区去搭建AR云。关于未来的预判。我觉得一个技术要真正普及，确实需要很多条件，就像50年前的计算机发展，需要硬件、软件的发展到了一个临界点，这个体验才会好，但是其实没有一个真正的临界点，因为更好的体验感一直都是追求的目标。所以现阶段，我们先要解决基础的问题，比如计算力的提升、设备的小型化、网络的提升、AI能力的提升等，都是基础设施建设，就像高铁建设完之后速度就会快速提高一样，现在我们需要加快VR基础设施的建设。

中国移动研究院云VR项目负责人李可：

5G、AI与VR密不可分

中国移动从2016年就启动了AR、VR的预研，并与行业合作伙伴一起在2017年11月推出了云VR的验证系统，2018年4月，推出了基于5G的云VR验证系统。中国移动很早就开始了5G布局，并投入大量的资源和业界一起进行5G通信技术研发，同时也在思考那些场景有可能成为杀手级的应用。2016年以前，VR产业非常火爆，我们也在关注VR产业。那个时候我们思考的是作为一个通信运营商，如何把VR产业和通信网络的业务结合起来，VR产业经过这几年的起起伏伏，我们看到了一些痛点。第一是我们希望VR业务能变成大众型的业务，能走进千家万户，但目前高端VR设备依然比较昂贵。第二是VR设备便携性不够。VR头盔在工作单位、工厂里可以用，但是在家里放一个很复杂的VR设备就不太现实。第三是目前VR设备用户体验感尚无法达到替代手机和平板电脑。所以VR/AR在价格、便携性和体验上还有很多工作要推进。而5G的传输能力和边缘网络的计算能力，可以增强VR设备的处理能力，降低设备的价格。5G和4G的区别是边缘网络和边缘计算能力的增强，这对无论是游戏还是渲染业务都非常有帮助。AI与VR一直密不可分，VR本身就是AI技术的一个分支，VR对于位置、运动追踪，都依赖于AI的能力。所以5G和AI能力对于VR业务非常重要同时也密不可分。

百度VR总经理曹杨：

VR、AR是5G最佳应用场景

VR在百度大脑的大框架里定位为感知层。百度大脑的感知层包含了视觉、语音、VR和AR。所以百度一直投入蛮多资源在做AR、VR的基础和技术落地工作。百度的AR、VR团队在教育、视频等方面有很多落地并且形成了有价值的商业模式，所以它是比较健康的状态。VR和AR是AI非常好的技术承载体。比如，百度的一些产品中包含着语音技术，语音技术可以在手机、APP里面体现，而VR起到了一个智能终端的作用。这几年AR/VR的发展起起伏伏，但是从大方向上看我们对于它还是比较坚定的。5G今年很火。5G的发展推动着XR、VR往前走。5G的发展需要找到应用场景，而VR、AR就是非常适合的应用场景。同时，5G解决了VR发展遇到的一些基础上的困难和问题，大大降低了AR/VR项目落地的成本和门槛，加速了AR、VR的普及。预测十年以后，所有的计算都会上云，我们戴着一个普通的眼镜，就有可能是一个非常强大的眼镜，睁开眼睛就可以上网，没有线上线下之分，形成一个空间互联网。