这里讲述下如何做时空域上的对齐融合处理。首先，时域上针对每一帧做双向光流，随后将对齐之后的帧以及取得光流的信息做可变形卷积，得到时域上对齐后的特征，如左图。其次，空域上的信息融合过程，基本操作是UNet，但它与单纯UNet不同点是提出在下采样的时候用多种融合的方式去做，其中包含双线性下采样，包括平均池化、最大池化、步长为2等卷积下采样，如右图所示。实际多种下采样用消融实验也证实可以更大地拟合真实情况，证明算法有效性。
接下来看实验结果。首先从实验环境来看，为了贴近实际应用，我们在实验过程中第一遍编码用10Mbps模拟很多手机编码，接下来转码用1000kbps和500kbps，这与工业界下发应用更贴近码率，编码用H.265。接下来看结果，如图所示（最后一列是快手算法修复结果），可以看出，相比之前的所有经典算法，我们对篮球、斑马线、人、走路的修复都得到大幅度提升，主观上效果好很多，客观上更明显，平均PSNR增益为0.782dB。这项研发成果也被人工智能顶会AAAI 2022收录，分享给工业界同行。
下图显示快手算法在实际电影和动画片中对块效应的良好修复能力，修复出色的同时能够良好控制无色偏，主观效果感受显著提升。
视频超分辩率已发展多年，网络设计思路相对稳定，大体上可分为这三步。首先做视频帧Alignment对齐，如t 1、t、t-1时间域上的相邻帧，包括是隐式 deformable卷积还是显式光流对齐，不同网络有不同设计；第二步做特征提取和特征融合，第三步基于ResBlock块等结构去做Reconstruction重建，从而生成清晰高分辨率图像。
那么，超分辨率在面向工业应用有什么问题？首先，传统的视频超分辨率算法在提升纹理清晰度的同时将原小分辨率视频中噪声放大；其次，画面往往会变得过度平滑，丢失小细节和纹理，而将大区域画面处理偏平，这样画面看起来会有些偏假；第三就是一个网络很难去做好所有场景的自适应。这些就是我们需要解决的几个挑战。
针对这些挑战，我们提出了对应的解决方案。首先，针对视频超分辨率把视频噪声放大的问题，我们做了视频超分辩率与编码损伤修复或去噪的融合算法，这种视频超分辨率是附带一些抗噪能力。大多数视频分辨率又小质量又差，所以既要提高分辨率，又要抗噪，就需要把这些融合在里面；第二，我们做了针对性突出画面纹理和边缘，主要在数据集上做的一些工作；第三，我们利用视频基础特征检测分析，对不同内容的视频进行相应的质量判断，用不同的超分辨率算子来解决，已对不同质量视频进行自适应。
这里举个例子表达basic idea，我们具备两者不同针对性超分算子，分别叫做SR-LQ（用于做低质量视频）和SR-HQ（用于做高质量视频）。
