鉴于此，伯克利的团队创建了数学问题数据集MATH，其中包括12500道来自高中数学竞赛的习题。
果然，AI现在也躲不过数学竞赛了。
MATH能起到什么用？MATH的12500道数学题，来自包括 AMC10、AMC12、AIME 等等竞赛。其中许多问题是从 aops社区收集的。
这些竞赛题跨越了几十年历史，主要目的是评估数学人才的问题解决能力。
所以，MATH与之前所有类似数学数据集不同，大多数问题不能通过简单地应用标准K-12数学工具来解决。
无论是人还是AI，必须通过活用数学知识和“启发式”的推理手段才能得到答案。
△不同数据集中数学问题对比
12500个问题中，包括7500个训练问题，和5000个测试问题。
其中的范围，包括代数、微积分、统计、几何、线性代数、数论等等。
在每个子领域下，相关问题涉及几乎所有重要定理和公式.
比如多项式展开、三角形面积、幂级数展开…..
而MATH与以往所有数学数据集最大的不同，就是它的每一个训练问题下，都有清晰的解题步骤和公式依据。
训练后的模型，可以学习到许多有用的启发式解决问题的思路。
除了MATH，团队还推出了一个庞大而多样化的数学预训练语料库AMPS。
AMPS的Khan子集有693个练习类型，超过100,000个问题，基本上是K-12教学中常用的。问题类型从初级数学（如加法）到多变量微积分（如斯托克斯定理），并用于教授实际的K-12学生.
团队还贡献了自己的Mathematica脚本，生成了约500万个的问题。
这个超过23GB大小的数据集，是专门用来训练超大模型用的。其中的问题包括代数、微积分、计数和统计学、几何学、线性代数和数论的各个方面。
与之前的算法生成数学问题的方法不同，由于使用了Mathematica的计算机代数系统，这样使用者就可以直接对分数、分析函数等等进行操作。
AI的数学，及格了吗？尽管是高中竞赛题，但难度依然不小。
团队特地用MATH对人类进行了评估，结果，一名计算机科学博士学生的答题正确率为40%。
一位三次获得IMO金牌的人成功率达到了90%，这表明MATH对人类也具有挑战性.
