对抗训练损失。相对于重建损失函数要求生成图像逐像素与原始图像一致,对抗训练损失函数相对约束较弱,仅要求生成图像与原始图像分布一致,进而能生成更加清晰、真实的纹理,其具体计算过程如下式所示:
感知损失。感知损失是施加在特定的预训练网络的特征空间中的一种特殊的“重建损失”。本文的感知损失分为两部分,第一部分选取了 VGG 网络作为结果图像与原始图像的特征提取网络;另一部分,选取了文中训练得到的纹理提取器网络作为结果图像的特征提取网络,与迁移特征T进行约束,具体如下式所示:
实验结果与分析
本文在 CUFED5、Sun80、Urban100、Manga109 数据集上针对文中提出的方法(TTSR)进行了量化的比较,具体如表1所示。
表1:本文提出的 TTSR 与现有方法在不同数据集上的量化比较结果
另一方面,本文还进行了用户调查,证实我们提出的方法在超过 90% 数据上取得了更好的结果,进一步证实了本文提出方法的有效性,具体如图3所示。