7 月 3 日晚,一场独特的演唱会上线抖音、西瓜视频、今日头条、鲜时光 TV,引发 1.4 亿乐迷集体怀旧。这是“Beyond Live 1991 生命接触演唱会”及纪念音乐会的精选重映。Beyond,是华语摇滚乐发展历史上的璀璨明珠,更是一代人的青春记忆。
而这次当亿万观众沉浸在 DNA 被唤醒的怀旧情绪中时,可能也有很多朋友并不知道,他们看到的、听到的穿越 31 年时光而来的画面和声音,其实是经过超清修复的。只是在原汁原味的真实还原下,很多人并未发现而已。
完成这次超清修复的,就是字节跳动旗下的云服务平台火山引擎。
如果你看过 Beyond Live 1991 生命接触演唱会原版视频,就能真切感受到这次超清修复版的提升。比如下面这张修复前后的效果对比图,就是肉眼可见的提升。
时隔多年后依然能看到这场演唱会如此清晰的版本,的确是一件幸事。相信也有朋友会好奇,抖音到底施了什么魔法?火山引擎到底是怎么修复的呢?
这里不妨为大家解释一下。
首先,因为是演唱会的修复,所以不可避免会分成两个部分:画质修复和音质的修复。
画质修复方面,我们先看看存在哪些难点。
第一是画面的模糊受损,早期因为技术条件差,演唱会在拍摄、制作、压缩、传输等整个过程都会出现画面模糊、噪声多的情况。比如那时的影片一般都是隔行扫描,编码、显示都会带来交错条纹等瑕疵。
第二是演唱会独特的色彩、亮度和舞台氛围感,比如怎样平衡亮度调节和底噪被放大之间的矛盾,也是难点。
第三是需要对人像面部进行精细处理,普通的画质修复算法难以做到,而且调节人像效果和背景之间的差异也是难点。
这些是演唱会修复的核心难点,对于这些难点,火山引擎则研发了专门的算法技术进行攻克。比如画面模糊受损的问题,他们有清晰度增强和瑕疵修复算法,这些是基于大量数据训练的深度学习算法,提升分辨率的同时,还能在缺少纹理的区域生成丰富的细节。
同时,还能利用基于运动补偿的深度学习多帧交错算法,解决各行扫描格式视频存在的拉丝和横纹情况。
下面这张照片就展现了修复前后的对比,可以明显看到修复前拨吉他的手部有横纹、模糊的情况,修复之后整个明显更清晰锐利了。
提升画质的同时还要注重演唱会艺术氛围的保留。火山引擎给出了基于美学评分的自适应分区域色彩亮度增强算法,它会根据片源的效果,依据美学评分,在色彩,亮度,对比度,饱和度,人像 ROI 和背景区域分别增强,使亮区与暗区都能得到最好的表现效果。
比如下面这张修复前后的对比,修复之后的色彩明显更饱满,同时整体风格上也没有失去演唱会灯光的氛围感。
而人像的修复方面,火山引擎则通过自研的自适应人像增强算法,进行人物高清五官重建。对不同大小(近景 / 中景 / 远景 )、不同姿态(侧脸 / 俯视 / 仰视),不同遮挡程度的人脸都有较好的修复增强效果。
音质修复方面,也是类似。原版演唱会视频天然存在早期设备条件不好导致的音质差的问题,还有环境噪声带来的干扰。另外那时的设备、压缩算法不成熟,也会导致音频截止频率低。演唱会混响过大影响收音质量、以及响度不均衡问题造成的听感不适等。这些都是音质修复存在的难点。
针对原版音频的噪声,火山引擎给出了多元素场景的自研降噪算法,可以针对音乐场景和人声场景实现兼容的 AI 降噪。普通的降噪算法主要针对人声,给演唱会降噪时难免对部分声音造成损伤,而火山引擎的这套算法可以保留人说话 / 唱歌 / 音乐的同时,抑制其他噪声。
比如下面这张对比图,原版携带噪声的音频频谱整体非常浑浊,噪音(紫色的部分)整个演唱会都存在,而经过 AI 音频降噪算法处理过后,频谱图清晰了很多。
对于早期设备音频带宽不够的问题,火山引擎也有音频超分算法予以解决,它能够对演唱会中的人声部分进行频带拓展,丰富高频信息,提升音质,并且在处理过程中不会引入其他失真使体验变差。
此外还有响度算法,则是提取演唱会中的歌唱人声部分,然后进行响度的调整,使得整体的人声更加舒适。
当然,这次演唱会重映之后,IT之家也向火山引擎方面了解到,修复的工作也并不完全是 AI 算法进行的,也会有人工处理的部分,只是人工参与的很少。比如在画质修复时,主要是和色彩相关的会加入部分人工,而音频部分主要是在响度调整上做了一些人工的细节调整。
总体来说,这次演唱会的修复绝大部分工作通过 AI 算法技术来完成的,并且我们也能看到,修复的工作不仅仅是提升音画清晰度这么简单,还涉及到艺术氛围的保留、噪声、细节的取舍、色彩的调整、重编码等等,是一个成体系的复杂流程。而这个流程,火山引擎已经能用技术在无人工参与的情况下完成绝大部分。
最终呈现在我们面前的,就是一场音画全面焕发新生,同时艺术感又原汁原味的经典演唱会,成就了一场情怀的狂欢。
从效果来说,这次 Beyond 演唱会的超清修复是让人惊叹的,看了上面的介绍,相信会有朋友自然地想到,这些修复技术这么厉害,而且很少需要人工参与,那如果能将它们开放出来,让更多的主体能参与到这种颇具意义的修复中去,岂不是更好?
其实这些,就是火山引擎视频云正在做的,而且他们提供的能力还有更多。
相信大家也能感受到,视频在如今互联网传媒时代的重要性。IDC 在年初曾发布一份《中国视频云市场跟踪(2021 上半年)》报告,其中显示,2021 上半年中国视频云市场规模达到 43.7 亿美元,同比增长 38.7%。我们正在迎接一个全新的“超视频时代”:不管是企业到用户,还是用户到用户,一个行业内的信息传递有 50% 以上是通过视频承载,就可以认为是“超视频时代”。
总之,在广泛的商业场景正在从图文走向视频的大背景下,视频正在成为一种新的生产力,各行各业都在思考如何建设自己的视频能力。
而火山引擎这家字节跳动旗下的云服务平台,恰好通过视频云为各行各业带来完整的视频能力。这次修复 Beyond 演唱会所涉及的相关技术,其实只是火山引擎视频云能力的“冰山一角”。
根据今年 2 月火山引擎公布的最新视频云产品矩阵,这是一个包含泛互联网、游戏、金融、广电等场景,视频点播、veImageX、实时音视频等核心产品,以此构成完整的解决方案。最底层的核心中台,则是火山引擎在服务抖音、西瓜视频等优秀应用积累和沉淀下来的技术能力,覆盖网络传输、智能生产和智能处理全链路的能力。
而细分到每一项能力方面,火山引擎视频云也有对应的技术优势。比如在编码方面,火山引擎的 BVC 系列编码器在视频编码器全球顶级赛事 MSU2020 中获得 17 项冠军。
在视频播放体验上,火山引擎拥有独创的“零首帧”优化,实现短视频首帧起播小于 100ms,长视频首帧起播小于 400ms,带来无感知的流畅播放体验。
还有他们的 VQScore 画质评估算法体系也已经在多媒体领域世界级学术会议 ICME2021 拿到第一名,稳定性方面更是能将应用崩溃率降到低于 1/100000。
正因为拥有这些技术优势,火山引擎视频云才能为不同的行业提供极致的视频体验。并且在视频体验方面,火山引擎也建立了自己的数据体系标准,从互动体验、播放体验、画质体验、性能体验四个方面做细致优化,从而让用户体验可量化、可优化。
举例来说,现在很多“超新 Z 世代”喜欢在快看上看“漫剧”,这种全新的视频内容形式背后就有火山引擎视频云的助力。火山引擎视频云为快看“漫剧”创作提供了强大的视频编辑,推动 UGC 内容的繁荣,同时还为快看提供了零首帧的相关优化经验,提升了用户观看体验。
(快看世界技术 VP 安尝思)
再比如今年 5 月,Pico 以 8K 3D VR 的方式举办了郑钧“We Are”VR 私人唱聊会的互动直播,火山引擎视频云为 Pico 提供了从 VR 采集、VR 编码推流、VR 云导播、虚拟现实特效叠加到 VR 播放器的全链路能力。
(郑钧“We Are”VR 私人唱聊会)
总体来说,目前火山引擎视频云已经服务了很多的行业,覆盖游戏、电商、金融、教育等各个领域。包括前面我们说的修复 Beyond 演唱会过程中所使用的各种技术,在各行各业也都已经有很成熟的应用。也许,修复 Beyond 演唱会并和大家一起来一场免费的怀旧狂欢,是一件很有情怀的事,但小编觉得,能够将这些能力开放出去,赋能给千千万万需要用视频建设生产力的主体,是比情怀更重要的事情。
Beyond Live 1991 生命接触演唱会的重映已经结束,但小编相信,类似这样用技术修复文化的情怀不会止步。去年,抖音、西瓜视频联合火山引擎已经为我们修复了超百部经典动画,这次是 Beyond 的经典演唱会,未来,也许还有更多被时光侵蚀的作品会重新焕发生机。
而这样的事情,只靠为数不多的企业来完成,远远不够,相反需要更多的企业或主体参与进来。火山引擎视频云的赋能,对推动这样有价值的事情,无疑会起到非常重要的作用。