ECCV 2022 | 视频插帧中的实时中间流估计

概述

视频插帧算法旨在视频的相邻帧之间生成若干个中间帧。它被广泛用于视频处理，多媒体播放器和显示设备上。

本文提出了一种基于实时中间流估计的视频插帧算法 RIFE，包括一个端到端的高效的中间流估计网络 IFNet，以及基于特权蒸馏的光流监督框架。RIFE 支持在两帧之间的任意时刻点插帧，在多个数据集上达到了最先进的性能且不依赖于任何的预训练模型。

相比目前流行的 SuperSlomo 和 DAIN 技术，RIFE 实现了 4 至 27 倍的加速且取得更好的视觉效果。通过调制 IFNet 的时间编码输入，RIFE 还能支持包括动态场景图像拼接等应用。

RIFE 相关代码已开源在GitHub上（点击文末“阅读原文”可以直达链接），也已经被 Flowframes，SVFI，SVP 等视频处理软件应用。

介绍

视频插帧的目标是在两个相邻的视频帧 I0 和 I1 之间，生成中间时刻的视频帧 It (0 < t < 1)。在模型训练阶段，我们有 It 的数据。

近年来，基于深度学习的视频插帧算法获得了越来越多计算机视觉研究者和视频创作者的关注。然而，现有方法离满足一般用户需求还很远，特别是在处理速度上。在一般的消费级显卡上，现有方法通常需要视频原时长的十数倍甚至数百倍的处理时间。

我们的论文通过研究光流插帧方法中的几个关键组件，最终得到了一个比现有方法有显著速度优势的方案 RIFE。可以看到，在单帧插帧和多帧插帧的场景上，我们的算法（RIFE，红色五角星）都有比较明显的性能优势。