自研ISP芯片，复刻蔡司镜头……手机摄影进入硬件级算法时代

摄影是手机厂商寻求差异化卖点的主要赛道，也是消费者重度使用的功能。随着手机摄影向生产力工具演变，消费者对个性化场景、复杂化场景的拍摄需求越来越高，对手机的数据处理能力和能效指标提出前所未有的要求。

手机成像是硬件芯片、光学器件、软件算法共同作用的结果。因此，越来越多的手机厂商开启了算法和硬件自研，或与芯片厂商联合定制CMOS、SoC等关键元件，以面向不同消费群体构建品牌性格。在9月6日的影像技术分享会上，vivo围绕自研影像芯片、光学器件优化、软件算法提升，展示了vivo在硬件级算法时代的布局策略。

定制影像芯片 能力与功耗兼得

如果说镜头是人类的眼睛，ISP就是视觉神经。镜头捕获的信息需要经过ISP的处理，才能转化为被人眼识别的图像。

在高通、联发科等第三方公版芯片中，ISP往往集成在SoC中以提升与GPU的互联效率及硬件整合度。但集成ISP往往难以满足消费者的个性化或重度拍摄需求。

为此，vivo推出了自研独立ISP芯片V1。作为独立ISP，V1在主芯片集成ISP成像能力的基础上，叠加专业影像处理能力，从而释放了主芯片的算力和能效。在既定的业务下，V1既可以像CPU一样高速处理复杂运算，也可以像GPU和DSP一样，完成数据的并行处理。面对大量复杂运算，V1在能效比上相比DSP和CPU实现指数级提升。

“过去手机拍照处理一张照片需要半秒或一秒，现在的30fps视频，需要一秒处理约30帧画面。对运算密度提升和能耗下降的要求，产生了巨大的技术鸿沟。定制化芯片能释放主芯片的功耗负载，提升用户使用体验。” vivo影像算法总监杜元甲表示。

具体来看，V1为手机摄影带来三个优势。

一是将旗舰级桌面电脑吞吐能力搬到手机中。V1采用全片上储存，优化了高速读写电路，实现等效32MB的超大缓存，超越了目前旗舰级桌面电脑处理器16MB到24MB的数量级，读写速度达到35.84Gbps。

二是支持多个计算成像算法的实时并发处理，在V1的协助下，主芯片可以在低光录像时，以低功耗运行4K 30FPS的MEMC去噪和插帧，配合主芯片ISP原有的降噪功能，实现二次提亮二次降噪。

三是满足用户对性能提升和功耗降低两个看似矛盾的需求。通过将软件算法转移至V1的专用硬件电路中，相比软件实现的方式，V1的专用算法硬件电路功耗降低了50%。

据悉，V1将在vivo新旗舰X70首次搭载，于9月9日发布。

采用玻璃镜片 突破光学器件

镜头作为手机的眼睛，同样有着复杂的结构。由于手机镜头高度集成化，业内大多手机型号选择了塑胶镜片。但是，塑胶材料在光学设计优化方面已遇到瓶颈。相比之下，玻璃镜头能具有通透性好、折射率高等特点，能拔高手机摄影的上限。

然而，玻璃镜片的制作工艺难度更大，工艺步骤比原先增加了11步，工序复杂，每100片中才能挑选出60片良品。 经过与蔡司团队经过多轮验证，vivo克服工序复杂，工艺步骤多的难点，在手机搭载了高规格玻璃镜片。

据悉，这块玻璃镜片具有高透光率、超低色散、热稳定强的效果，镜头0.9F以内，色差设计值比上代降低了70%以上，阿贝数达到了81.6，是目前手机行业中使用过的阿贝数最高的镜片，可明显改善高反差场景的紫边、伪色等问题。

在此基础上，vivo还采用了AOA动态光学校准工艺，动态调整镜头里的部件，通过实时补偿，调整镜片厚度误差和镜片偏心误差引起的清晰度降低问题，保证镜头的光学品质。

在夜景拍摄中，手机摄影常出现炫光和鬼影，这对反射率更低的镀膜技术提出了要求。vivo应用了SWC镀膜，将反射率最低降低到0.1%，下降幅度达90%。同时，vivo采用了色素旋涂技术，以解决色素与蓝玻璃的附着力问题，滤除花瓣鬼影。

算法升级AI助力 还原蔡司镜头

对于追求专业摄影体验的用户来说，“原始素材+严谨后期”才能最大程度地还原拍摄主题及场景。

为了还原色彩的自然感，vivo联合蔡司共同研发“蔡司自然色”，以满足专业用户的色彩需求。借助更精细的色彩调试算法支撑效果实现，经过粗调试和精细调整，使照片的色相准确度ΔE收敛了约15.5%，在较小的ΔE和仍然良好的饱和度中找到平衡。

同时，vivo基于算法和模型，尝试在手机端还原蔡司经典镜头Biotar和Sonnar的人像风格。为还原Biotar的景深感，vivo通过深度计算获得图片的深度信息，并给予图像合理的虚化效果，实现镜头成像的深度还原。为此，vivo采用了深度卷积网络，学习了28万张人像分割、10万张手势分割图片。此外，通过像场分布模型、滤波核生成技术模型，vivo分别对Biotar的口径蚀和光斑进行还原，最终在手机上重现了Biotar和Sonnar的镜头效果。

平台、器件、算法等各方面的共同协作，决定了最终的成像品质，算法与硬件，缺一不可。vivo影像产品经理王兆丰表示，手机影像行已经进入硬件级算法时代，vivo将结合技术探索与人文思考，在人性化的专业影像道路上不断前行，希望手机影像为创作带来更大的可能性。