iclr最新优化算法,lr算法公式

表4给出了在CIFAR-10和CIFAR100数据集上使用常用架构上的蒸馏实验比较。CIFAR10数据集上看到几乎所有的架构上性能都有相似表现，除了ResNet-56到ResNet-20的蒸馏精度下降较多，可能原因是学生模型学习能力较小。

本文也给出了本文方法在其他模态上的性能比较，在50K随机生成的端音频中蒸馏。表5给出了实验结果。比较模型是直接使用源数据集的教师模型。实验结果发现在音频模态中，单一的音频数据也能给学生模型足够的监督信号。

表6给出了视频模态上的实验结果。实验结果也显示单一数据也能给学生模型足够监督信号。

表7给出了在大型图像数据集上的实验结果。一般来说单一图像在大型数据集不足够恢复全部信息。这里发现在ImageNet验证数据集上获得了一个惊人的69%精度。