视频插帧： 抖音大型赛事实践中会遇到各种不同的录制标准，其中也存在1080P 25fps的录制标准，现在消费者已经习惯高帧率的流畅视频体验，对于低帧率的视频会明显感受到画面的流畅度降低，影响用户观看体验。针对低帧率场景，我们使用了智能插帧技术，通过对前后帧的内容进行光流估计，根据光流信息将前后帧像素都转换到中间帧，然后进行整合，生成中间帧，提升视频帧率，减少观看时的卡顿感。而针对电竞类对帧率要求较高的场景，我们做了以下的额外优化。
faster光流模块和faster修正模块使用partial conv代替普通卷积，能在保持效果的同时减少卷积运算；在计算光流时，采用内容自适应下采样去对输入进行下采样，用于计算光流、残差和遮挡掩码， 再将其上采回原分辨率，用于原始输入的warp和整合 ，由于光流模块和修正模块这两个运算较多的模块接收的是较小的分辨率，从而达到进一步减少计算量的效果；工程上，团队通过算子融合、半精度的方式，减少IO和浮点运算，相比工程化前加速1倍多。
同时，通过多GPU部署的方式拓展了智能插帧的能力，使得在更高分辨率（4k）的场景下能实施部署。另一方面，电竞场景中，比如王者荣耀，每个英雄上面都会有选手的名字，而这些文字较小，文字会随着英雄的复杂运动而运动，也就是会导致出现小文字的复杂运动，智能插帧通常会在这些复杂运动的小文字上因为光流估计不够准确而导致插出来的帧文字的位置不够准确，导致伪像出现，我们在训练过程中加入更多的随意移动或者静止的较小文字，使得模型能够在训练过程中更多地注意处理小文字的复杂运动，从而达到更好的插帧效果，如下图所示，左边为优化后的插帧结果。
左边为优化后结果，右边为优化前结果
ROI 编码： 为了兼顾视频码率和主观画质，团队使用了基于 LSTM（长短期记忆网络）的时域 ROI 技术，通过人眼显著性区域检测和编码相结合的方式，让码率在画面上的分配更加合理。除了模型设计之外，ROI算法中另一大难点是saliency(显著性物体检测)数据的获取，通用的saliency数据集在大型赛事中的表现并不理想。针对这一问题，团队收集制作了自己的专用数据集，并且对一些大型赛事做了专用数据集，例如针对世界杯赛事，团队专门制作了足球场景的 saliency 数据集，通过眼动仪追踪球迷观看球赛时的关注区域得到足球比赛的专用 saliency 数据集，从而极大增加了模型的准确性。针对足球场景中显著性物体较多，显著性区域分散的特点，团队对检测模型进行了专门的优化，在保证检测速度的前提下，提高了模型的召回率和不同场景的鲁棒性，从而实现更优的主观质量。
注：红色框内表示 ROI 区域，左边为通用方案结果，右边为优化结果
