Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换旧评测器,重新评估了 Open LLM Leaderboard 上提交过的全部 3,751 个模型。旧评测器因答案格式、SymPy 解析和答案比对问题误判正确答案,替换后模型平均多解出 61 道题,MATH 子集平均提升 4.66 分,Algebra 与 Prealgebra 分别提升 8.27 和 6.93 分。
推荐理由:原文给出评测器替换前后的具体差异与榜单变化,读者可据此判断数学评测口径对模型排名的影响。