图4给出了不同学生模型（不同的深度或宽度）下的性能比较。图中所示改变宽度是一个获得更高精度的参数更高效方式。ResNet-50x2模型精度69.0%，几乎到达了教师模型69.5%的精度。
表8给出了更多样的教师-学生组合实验。根据表格结果所示：教师模型性能与最终学生模型性能不是直接相关的，例如行i和l结果所示：ResNet-50不如ResNet-18适合于蒸馏。
另外发现在ImageNet分类任务上单一图像选择更重要。从城市（City）转换到桥梁（Bridge），性能明显下降，如果是噪声图像（Noise）根本不训练。
