清华大学杨铀：2D转3D技术解决立体影视内容瓶颈

8月24日，由中国电子报社主办的2010年中国3D视听产业发展高峰论坛在北京成功召开。本次会议以“三屏融合下的3D机会”为主题，汇集了3D行业精英人士，共同探讨了3D技术为产业带来的发展机遇。

图为：清华大学宽带网数字媒体实验室杨铀演讲。

杨铀：首先非常感谢工信部、电子报举办这样一个论坛，很高兴见到大家。

我们在立体视频方面从事了大量的研究，今天主要是集中在2D转3D的技术上。今天报告主要分三个部分，首先看一下3D市场发展情况，此外为了顺应或者配合市场的发展，我们立体内容制作都会使用什么样的技术，最后来看一下我们在2D转3D方面的一些工作，以及在内容制作方面所做出的贡献。

关于3D的市场发展，我们可以首先从它的显示设备上来看，显示设备从上个世纪20年代左右，从第一代模拟电视随之发展到数字电视，然后高清，到现在我们主要是考虑到立体电视，在下一个阶段有可能会出现更新一种形式的，比如用户自由选择自己喜爱的视角，也是称之为下一代自由视点电视的情况。从显示设备来看，目前3D电视从技术上已经有一定的成熟技术，但是后面还需要进一步的发展。

从技术上来看，已经发展到3D电视，从市场来看，关于量，3D的电视量来看已经发展到一定的程度。从07年到12年，这里面有一个预测数据，可以看到在未来由北美以及世界上其他地区的数字电影、数字电视发展量会逐年增长。与之相配套的其他国家的一些，在立体影视制作以及采集转换方面的工作，它的市场价值以及市场的潜力是具有比较大的潜力。这个是Displaysearch提供的数据，到2018年全世界3D显示器的市值会接近220亿美元。目前3D市场从内容、硬件、传输等等各个方面，从最早1920年开始到2000年左右，它的应用都已经做好一些Demo了，从图上可以看到，2010年，刚才姚所长曾经说到，2010年是作为我们整个3D产业的测试年，换言之就是我们最终的3D方面的市场也好，还有消费，整个研究也好，感觉从今年开始，我们的成功是从今年作为一个起点，迈向一个新的成功。

国内08年开始，由广电部构成一个C3D联盟，对应的跟立体相关的产业、标准、技术，都已经开始逐渐推出。包括立体手机，立体电视从今年5月1号开始有样机上市，包括立体编解码标准国标开始制定，包括中央电视台在内全国11个省市电视台已在筹建立体电视频道，预计年底开通。广东仅一省预计2011年立体视频产值250亿元。

从刚才的整个3D分析来看，它已经从显示然后传输方面都已经形成一个相对比较稳定或者相对比较成熟的技术，整个3D产业已经形成一个比较大的链条，在整个链条的发展方面我们可以发现，立体内容目前成为了整个3D产业发展的一个大瓶颈，就是内容比较少，比如我想要去开办一个立体电视频道，至少需要90小时的立体节目源，但是其实很多时候在电视台里面不具备这么多电视源。就是说，目前3D内容制作是推动整个立体产业发展的一个非常重要的力量，也是目前制约整个立体产业发展比较大的瓶颈。

怎么解决这个瓶颈?我们要考虑一下立体内容是怎么得到，怎么生产的?立体内容生产是两大类，一个是主动视觉方法，一个被动视觉方法。主动视觉方法比较直接的，我们会使用一些三维扫描仪，三维扫描仪能够比较请确地刻画三维场景中的深度信息，去描绘相机到场景中每一个物体象素点的物理距离都可以刻画出来，但是这个东西售价非常昂贵，一台三维扫描仪基本上要上百万美元的售价，然后扫描过程中时间非常长，也不能够进行动态场地的三维扫描，必须把这个物体摆放在那里静止的，大概需要5到10分钟才能够把整个场地扫描下来，是这样的情况。而且扫描的场景非常小，比如说我只能够扫描这台电脑，但是无法扫描目前整个会场，这是它的一个很致命的缺点。另一种称之为深度相机，这种相机同样也能够获取场景当中的三维信息，但是面临的问题跟扫描仪的问题差不多，首先会比扫描仪的精度下降一点，其次同样也是没有办法拍摄大范围的场景，还有一个比较重要的问题，因为深度相机实际上比较多的会采用一些红外线或者射线的方式进行深度测量，如果说这个射线在发射出去的过程中经过了若干个面的反射，比如反射到墙上，墙上反射到地上，地上反射到桌子上，然后反射回接受器，这样会产生深度计算发生比较大的偏差。因此深度相机的精度比较低，这样生产的立体内容质量就会比较差。

还有一些被动的视觉方法，它的特点就是不能够主动得到三维场景当中的深度信息，整个三维空间描述的信息。这里面比较常用的方法就是去使用一些多相机的拍摄系统，比如像双幕的采集，下面的大幕采集，这里面大概使用了20台相机采集。还有光场采集系统，这种系统是清华所建立起来的一套系统。这几种系统它的好处，双幕采集携带非常方便，能够去模拟人眼，因为人是两个眼睛，然后通过两个摄象头进行采集的话，就可以比较方便地得到场景跟人比较匹配的立体信息出来。但是使用过程中又有很多缺点，首先是两个摄象头之间的镜头不可以调整，然后摄像机采集镜头，由于不具备深度，因此不可能生成立体的模型，这样的话，对于后期的影视特效制作，比如把一个人在这个地方拍摄之后，我把他挪到一个新的场景中或者挪到一个新的光照下，这种特效通过双幕摄像机是非常难完成的。此外，双幕摄像机采集回来的立体视频是不具备交互功能，如果用户想选择新的视点观看场景的话，双幕摄像机只有两个视点，这样就不可能形成一种交互。

针对上面的困难，就形成了多幕采集的方式，这种采集方式摄像机数量会非常非常多，但是可以明显看到，因为多了携带就很不方便，同样压缩起来，数据量非常大，压缩起来会非常困难。还有，它同样也是不可能进行建模的，非常难建模。为了进一步解决，我们建立了一个目前的光场采集系统，就是这样一个环形的采集系统，在这个笼子里会铺上一圈摄像机，配不同的光照，采集过程中实现变光照，然后多相机多角度的采集。这种采集方式能够解决上面无法建模、无法交互等等具有的一系列的困难，这种采集方式对于立体影视制作具有非常大的好处。目前我们跟国内比较顶尖的立体影视制作单位，包括中影集团一直在合作。这种采集方式所带来的不便同样跟上面也一样，因为它很大，我采集过程中只能在这个笼子里，所以采集受到一定限制，而且不能够很随意地携带它。此外，因为摄像机数量多了，所以数据量也非常大，因为我们在采集过程中的光照是在不停发生变化的，所以数据的特性分析起来比较困难，也是目前在国际上比较热点的研究问题，非常难。

另外两种立体内容制作的方式，就是2D转3D的采集方式，这种方式需要重点讲一下。首先2D是怎么得到的?2D的图象是通过摄像机面对着三维的一个环境，通过光线透过镜头在CCD成像面上得到二维的图象，这个图象只反应二维的信息，想通过二维信息把它换算或者反算回原有的三维信息，在视觉上是一种病态的问题，也就是求解过程中，会存在非常多的，可能你的未知变量的个数会远远大于你所能够建立起来的方程数，因此解会非常多。正因为如此，所以整个求解过程中，你的结果，也就是说你最终恢复出来的三维场景的结果只能是一个近似结果，不可能去还原成真实的三维场景。此外，还有一个问题，因为我的变量个数很多，方程个数同样很多，因此整个求解的复杂度会非常高。这是二维转三维里面面临的一个问题。最后一种，就是计算机制作的方式，就是3DMAX的方式，这种方式一直以来都存在，就不再做详细的解释。

关于2D转3D，刚才前面所有说到的立体内容的制作以及生成的方式，在清华我们这个实验室所有的方式都有涉及到。特别在2D转3D方面，目前在2D转3D方面市场的要求是提得比较多，因为大家都希望能够去建立立体的运营平台，去尽可能满足立体的播放。因此，内容成为一个瓶颈，我们需要尽快解决它。此外，一些技术的要求，早期的一些立体技术，包括诸神之战，为什么立体效果不好?因为它采用的技术是一些老技术，不够成熟，这个技术我们后期观看诸神之战的时候进行了分析和破解，发现它使用的技术基本是90年代之前的技术。为什么会使用那些技术?因为操作起来非常简单。像刚才所说的一千多人花几个星期，很快的把一个平面电影变成一个立体电影。按照我们目前所掌握的一些资料，想完成90分钟的电影从二维转成三维，如果想做得很高质量，一千多人至少需要两到三个月才可以做完这么一个高质量的转换。

在这个地方我们可以发现，从市场以及技术的角度来讲，二维转三维技术应该是目前解决立体影视内容匮乏以及解决立体产业发展瓶颈的一个比较重要的手段。关于二维转三维技术，它的定义是什么呢?就是说我在整个转换过程中去使用利用平面视频中隐含的，因为本身已经不具备任何3D信息了，只能说从它的内容上、图象构成上去挖掘它所隐含到的3D信息，利用这些所挖掘出来的信息恢复出所拍摄场景的三维空间坐标以及相应的关系。刚才的分析已经有一个结果了，就是说我们不可能恢复所有真实的信息出来。

在这个整个演进过程中，我们会对它进行一些问题的细分，主要是分为场景静止以及场景运动两大类，下面进行相应的核心技术。比如在场景静止的时候，同时相机静止的时候，我们使用它的一些可利用的线索，包括线性透视的线索、相对位置、遮挡、大气散射，其中关键就是你的线索必须要能够有效发现。此外在相机运动的时候，场景静止、相机运动，我围着这个场景转一圈，就可以得到所有的三维空间的信息，这个需要通过大量的图片资料、数据资料进行分析。于此相关的一个比较著名的结果，就是去年发表的一篇论文，就是我在一天之内把罗马建成。他的工作是在汽车上架了一个摄像机，围着罗马转了一圈，然后通过这个视频就可以把整个罗马的三维信息全部恢复出来，这是一个具有代表性的工作。在场景运动的时候，我们也会挖掘它的一些3D信息，比如使用光流或者使用分割以及跟踪的方法，还有就是机器学习的方法等等，这些方法相应的技术在我们实验室都产生了一些结果，并且形成一些软件、平台，等等。

我们的相应研究也得到了世界上一些认可，在今年6月9日，在芬兰召开的3DTV.COM上，我们也参加了。2D转3D的数据也在实验室网站上发布，也得到了来自不同国家以及不同实验室的引用，引用总数超过1500多次，引用的来源来自于欧洲以及北美的一些国家。相应的论文以及专利等等这些情况。

这里面所展示的是我们所制作的一个我们具有核心技术的精细化的2D转3D的编辑平台，这个适合影视制作，特别是影视非线性编辑的制作，所面对的用户对象是专业级的应用，特别是广播级的影视制作，广告的后期等等。这边是我们的一个全自动时时的2D转3D的播放软件平台，这是普及型的应用。在这里面，主要包括家庭录影带、网络视频会议、车载设备、手机方面。同时也开发了二维转三维的芯片模组。我们的二维转三维的相应技术，目前也是应用到了美国的Sonic公司，他们二维转三维的播放器现在已经上市了，与之相关的整个二维转三维的平台软件技术，包括现有PowerDVD公司，在PC报、美国的计算机报，DVD公司和Sonic公司是第一的。

我们的二维转三维技术同时在今年世博会上有相应的展出，首先第一个是我们在中国馆，中国馆一共有三个展厅、七个展屏，全部使用我们二维转三维转出来的一些内容。展出过程中，得到了领导的关注。这些内容全部是使用我们实验室2D转3D产生的结果，同时跟中国电信进行了合作，也在世博会上进行了展出，这是中国电信馆其中的一些内容。我们在上个月月底广东省的产学研五周年成果展示上，清华大学作为整个成果展示高校展区排在第一的单位，在这里进行展出。2D转3D也是作为一个亮点进行展示。这个也是我们得到一些领导的关注。这些都是我们整个2D转3D的一些合作伙伴。

谢谢各位领导、专家!

主持人：感谢杨老师的发言，杨老师的观点2D转3D可能是解决目前内容匮乏的很重要的手段，其实2D和3D是拆数据的概念，这种概念如何把它真实还原画面，是目前一个解决的问题，目前清华走在技术的前面。刚才看到清华做出芯片了，下一步要考虑怎么和企业产业化，也是下面的目标。下面一位嘉宾，刚才大家知道有一个企业，大家都在推主动快门式技术的形式的时候，有一个企业推出偏光式技术，下面有请友达光电全球业务执行副总经理彭双浪先生为大家解答一下为什么在这个时期推出偏光3D面板，有请。