近期,MSU 图像媒体实验室更新了“去交错算法”排行榜单,在全帧率赛道上,火山引擎多媒体实验室的 FLAD 模型排名第一。火山引擎是字节跳动旗下的云服务平台,其 FLAD 模型曾应用于 Beyond 演唱会超清修复中,修复版本在抖音、西瓜视频、今日头条、鲜时光 TV 同步直播重映,当晚累计观看人次超 1.4 亿。
图:火山引擎联合抖音超清修复的 91 年 Beyond 演唱会应用了 FLAD 模型
去交错是将隔行扫描的影像讯号,转换为逐行扫描影像讯号的一种方法。受限于处理速度和带宽的因素,过去的广播电视系统使用的是隔行扫描影像讯号。今天的新式设备只支持逐行扫描影像讯号,播放早期的视频需要去交错处理,否则画面会有条纹和闪烁。
MSU 去交错排行榜单汇总了主要的去交错算法,分为全帧率和半帧率两个赛道,对算法去交错后的视频画质和处理速度排名。修复隔行扫描带来的交错帧,半帧率会重建无交错的一帧,全帧率则会重建两帧,帧率较原交错视频增加一倍,相比半帧率的修复难度更高。
图:火山引擎 FLAD 模型取得 MSU 去交错算法榜单全帧率赛道第一
全帧率赛道中,火山引擎 FLAD 模型在评估更为全面的两个指标(SSIM 和 VMAF )上表现最优,排名该赛道第一。半帧率赛道中,FLAD 模型综合表现排名第二。公开信息显示,Adobe、Sony、快手等公司的算法模型,以及 FFMPEG、VapourSynth 等视频处理软件内置的去交错算法参与了相关测试。
图:弹奏吉他的黄贯中,FLAD 模型对运动场景的细节恢复更好
据介绍,火山引擎 FLAD 是一种光流隐式对齐的视频去交错方法,主要有两项创新,一是采取双分支输入,保证对交错帧恢复既有结构的完整性,又能很好地恢复细节。此外,FLAD 提出了运动感知模块,使运动场景下的帧间内容更具连续性,细节恢复更好。
目前,火山引擎 FLAD 去交错算法已集成到智能处理产品中,开放给外部企业使用。