LIBRISPEECH：字错误率，Test Other
VOXCELEB：等错误率
6、推理
SAT问题考虑针对一组由逻辑连接词连接的布尔变量的赋值问题，即：是否有赋值能够使得它所表示的逻辑公式为真。真实场景中的一些问题，如电路设计、自动定理证明和调度等，都可以用SAT问题来表示和解决。
虽然2016年至2018年最佳解决方案的性能并没有明显的改进，但2019年和2020年的情况却有了很大改善。这些改进不仅包括最好的解算器，也包括了它们的竞争对手。2019年排名中位数的解算器的表现优于往年排名靠前的解算器，而2020年排名中位数的解算器的表现甚至与2019年排名靠前的解算器不相上下。
2016-20年每个解算器解算全部400个实例的总时间及年份（越低越好）
2016-20年单个解算器对性能改进的时间夏普利价值贡献（越高越好）
7、 医疗和生物学
在过去的25年里，制药工业已经从基于自然资源（如植物）进行药物开发转向用化学合成的分子进行大规模药物筛选。科学家们通过使用机器学习模型，能够确定哪些潜在药物值得进一步在实验室进行评估，以及进行药物分析的最有效方法是什么。各种机器学习模型可以学习化学分子的表达形式进而用于化学合成规划。
下图给出了一些模型的Top-1准确度，这些模型是基于一个包含了美国专利中100万个反应的免费数据库为基准训练得到的。 6 Top-1准确度是指模型预测的可能性最高的产品与真实情况中报告的产品一致。数据表明，在过去的三年中，化学合成规划的研究水平稳步提升。
2020年的准确度比2017年提升了15.6%。最新的分子transformer在2020年11月份报告出来的成绩已经达到了92%的Top-1准确度。
