工业和信息化部主管 中国电子报社主办
收藏本站投稿

软件服务

重现辉煌时刻!火山引擎超清修复Beyond演唱会

7月3日,字节跳动旗下火山引擎以超清修复技术让“Beyond 1991生命接触演唱会精选”“别了家驹十五演唱会精选”两场演唱会得以在抖音、西瓜视频、今日头条、鲜时光TV平台直播重映,为广大歌迷带来了一场视觉与听觉的盛宴。

演唱会超清修复存在多个技术难点

作为一个时代的文化印记,Beyond乐队在粤语歌坛的地位毋庸置疑。此次被超清修复的演唱会更是跨越了三十一年的时间长河,再度唤醒了几代歌迷的青春记忆。然而,受限于当时的拍摄器材、存储介质及录音设备技术,以及演唱会母带在一次次的复刻、播放、转录过程中受到的损害,演唱会的超高清修复工作存在诸多技术难点。

演唱会的画质直接影响到观众的观赏体验。相较于普通影片,演唱会过程中,歌手面部特写是观众最关注的地方,所以对画面精细度、还原度要求极高。画质修复方面,普通的画质修复算法对人脸处理不够精细,需要利用先验特性对人像进行精细化修复,不同大小(近景、中景、远景)、不同姿态(侧脸、俯视、仰视),甚至现场一些遮挡物带来的光影效果,都对修复算法提出了极高的要求。再比如,由于早期拍摄设备的原因,演唱会影片存在大量的过曝与死黑场景,以及较重的底噪等情况。修复效果与老旧视频的复古感之间的平衡度很难把控。

演唱会精华在于现场声音,声音细节也是观众在意的关键。音质修复方面,由于过去的录音设备技术落后、演唱会录音环境复杂、拾音不佳等情况普遍存在,再加上片源在制作、压缩、传输等过程中带来的各种损耗问题,演唱会的音质修复工作也是难上加难。比如,在演唱会上,现场拾音时,由于设备性能限制,有可能会收录到歌手的歌声、呼吸声、乐器声,观众的欢呼声、说话声,还有风声等,来自周边环境的底噪声会影响到演唱会的整体听觉感受;音源文件可能会因为录制设备或者不当的录制选项导致高频信息缺损,影响音质。

火山引擎以视频修复技术重现经典

“我是一直以来最大的心愿就是能再看一场Beyond的演唱会,这次也算是‘圆梦’了。”Beyond的一位忠实粉丝观看了修复版演唱会之后表示,“虽然人不在现场,但是我连黄家驹的发丝、脸上的汗珠、指尖的琴弦都能看得清清楚楚,他的声音就像在耳边一样,这种身临其境的感觉非常过瘾。”据统计,修复版演唱会直播当晚,累计观看人次超1.4亿。那些独属Beyond的辉煌时刻再度在歌迷们的眼前上演。而这一切的背后,离不开火山引擎提供的技术支持。

一方面,火山引擎将其完整的画质全链路端到端解决方案应用其中,基于服务端分析系统、服务端视频处理系统,客户端解码后处理系统在上传、转码、传输等多个环节中对视频内容进行画质、码率、体验的优化。特别是在人脸修复方面,火山引擎多媒体实验室自研的自适应人像增强算法,对人脸压缩损伤、模糊、低分辨率等问题进行修复增强,基于深度学习,在消除人脸整体的模糊和压缩损伤的同时,进一步对人脸关键的五官进行细节重建。同时,依托视频云自研的编码器,可以让视频在确保画质的同时体积做到最小,并能有效减少卡顿、延时等问题的发生。

“我们的目标是从画面整体清晰度、人像五官复原度、色彩亮度、流畅度、美观度等方面对画质进行提升。”火山引擎多媒体实验室研究员赵世杰介绍说道。画质上,本次修复通过清晰度增强和瑕疵修复、分区域色彩亮度增强等算法,处理早期软硬件设备落后导致的问题。视频分辨率从不足540p提升到接近4K水平,帧率从25fps提升到60fps。

另一方面,火山引擎音频技术团队通过音频降噪、音频超分和响度算法,消除噪声提升音质,有效解决了响度、噪声干扰、带宽不足等问题。火山引擎音频技术团队研究员舒晓峰指出,与传统降噪方案不同,本次降噪算法针对音乐场景和人声场景,实现了兼容AI降噪算法,在保留音乐和人声的前提下,抑制周围噪声。音频超分算法则对演唱会中的人声部分进行频带拓展,丰富高频信息,使人声更加清晰。

据了解,相关的修复能力目前均已通过火山引擎智能处理、音频技术两个产品对外提供服务。赵世杰表示:“我们做超清修复最大的优势在于像抖音、西瓜视频等业务平台每天都会收到用户海量的投稿,丰富的应用场景有助于我们不断优化迭代相关算法,让我们能够有机会从这个赛道上脱颖而出;与此同时,算法方面我们也有自己的技术特色,比如人像修复技术做了很多独有的创新。未来,通过超高清修复,我们将持续进行技术沉淀,为经典影像传承及企业客户带来更大价值。”

责任编辑:宋婧


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

聚焦2022年全国两会

北京3月5日电 第十三届全国人民代表大会第五次会议5日上午在北京人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。人民大会堂万人大礼堂气氛隆重热烈,主席台帷幕正中的国徽在鲜艳的红旗映衬下熠熠生辉。

2021年中国家电市场报告

3月3日,中国电子信息产业发展研究院(又称赛迪研究院) 发布了《2021年中国家电市场报告》(以下简称《报告》)。《报告》显示,2021年,我国家电市场全面复苏,零售规模达到8811亿元,同比增长5.7%,整体基本恢复至疫情前2019年的水平。

落实工作会精神 推动高质量发展

2022年要聚焦制造强国和网络强国建设目标,把工业稳增长摆在最重要的位置,统筹推进强链补链、技术攻关、数字化转型和绿色低碳发展,加大对中小企业支持,提升信息通信服务供给能力。工业和信息化部政务新媒体“工信微报”推出“落实工作会精神 推动高质量发展”栏目,刊发工信系统2022年工作新思路,敬请关注。

2022年全国工业和信息化工作会议

12月20日,全国工业和信息化工作会议在北京以视频形式召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届历次全会精神及中央经济工作会议精神,认真贯彻落实党中央、国务院决策部署,总结2021年工作,分析当前形势,部署2022年重点任务。

新思想引领新征程·红色足迹

党的十八大以来,习近平总书记在地方考察调研时多次到访革命纪念地,强调要从中国革命历史、优良传统和精神中汲取养分。追寻红色足迹,感悟初心使命。即日起,本报推出“新思想引领新征程·红色足迹”专栏,跟随习近平总书记的红色足迹,访当事人、忆当年事,重温总书记的重要论述和重要指示精神,生动回顾红色圣地光荣的革命历史、优秀的革命传统...

世界超高清视频(4K/8K)产业发展大会

会议

2021世界VR产业大会云峰会

10月19日—20日,由工业和信息化部和江西省人民政府共同主办的2021世界VR产业大会云峰会在南昌举办。国务委员王勇出席大会开幕式并发表讲话,江西省委书记易炼红,工业和信息化部副部长王志军,江西省委常委、南昌市委书记李红军出席开幕式并致辞。

2021世界显示产业大会

6月17日,由工业和信息化部、安徽省人民政府共同主办的2021世界显示产业大会在合肥市开幕。安徽省委书记李锦斌出席开幕式并宣布大会开幕,安徽省省长王清宪、上海合作组织秘书长弗拉基米尔·诺罗夫、工业和信息化部副部长王志军出席开幕式并先后致辞。

2021世界超高清视频(4K/8K)产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2021世界超高清视频(4K/8K)产业发展大会在广州召开。5月9日,广东省委书记李希出席开幕式,工业和信息化部部长肖亚庆、广东省省长马兴瑞、国家广播电视总局副局长孟冬、中央广播电视总台编务会议成员姜文波出席开幕式并致辞。

CITE2021第九届中国电子信息博览会开幕论坛

4月9日,第九届中国电子信息博览会(简称CITE2021)在深圳举办。深圳市人民政府市长陈如桂、广东省人民政府副秘书长陈岸明、工业和信息化部电子信息司司长乔跃山出席开幕式并先后致辞。

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

世界显示产业大会

本周排行