GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理题中的 49 道，每题约 2.40 美元
一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题，运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题（98%），平均每题成本不到 3 美元，整轮约 116 美元。
推荐理由：这份基准把理论物理的常规计算题交给多个商用智能体，并给出成本与错题归因，可用来判断智能体在科研流程中的实际位置。
评测基准
全部主题模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
最新精选
第 1–15 条 · 共 15 条The Decoder精选AI 评分7676
Simon Willison精选AI 评分8080 Anthropic 发布 Claude Haiku 5.5，定价对齐 GPT-6 Luna
Anthropic 发布快速低价模型 Claude Haiku 5.5，价格与 OpenAI 上月发布的 GPT-6 Luna 完全一致，为每百万输入 0.10 美元、输出 0.50 美元，超过 100,000 tokens 后涨至 5 倍即 0.50/2.50 美元。
推荐理由：作者实测了 Haiku 5.5 的定价、tokenizer 与推理档位，读者可据此判断它与 GPT-6 Luna 的成本取舍。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由：MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据，可用于比较推理基础设施的长期经济性。
Hugging Face Blog精选AI 评分6262 IBM 研究提出一致性指南，将智能体一致性差距从 24.4pp 降至 12.0pp
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer，用于衡量并改善智能体在重复运行中的不稳定性。
推荐理由：原文用 Pass^k 与 Mean@k 的差距量化智能体不稳定性，并给出可复用的诊断与改进流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三类探针量化 ASR 模型的基准优化现象，并给出可复用的检测脚本与榜单入口。
Hugging Face Blog精选AI 评分6262 Hugging Face 模型页展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并链接回完整记录。
推荐理由：原文给出 EEE 与 Community Evals 互通的转换器和审核流程，读者可据此判断评测结果如何统一上报与溯源。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 agent-eval：用自有工具评测开源模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，用 transformers 作为案例，在 bare、clone、skill 三种配置下跨模型和版本测量智能体完成任务所需的轮次、token 和错误率。
推荐理由：用 transformers 做案例，展示如何按模型规模和版本评测工具对智能体的友好度，并给出可复用的评测工具。
Google DeepMind精选AI 评分7575 Google DeepMind 回顾 AlphaEvolve 一年成果：从基因组学到 TPU 设计
Google DeepMind 发布 AlphaEvolve 推出一周年的成果汇总，这款由 Gemini 驱动的编码智能体已从试点进入 Google 基础设施核心环节。
推荐理由：官方汇总 AlphaEvolve 一年来在科研、基础设施与商业场景的落地数据，可据此判断编码智能体的实际边界。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 Community Evals，让基准数据集托管排行榜
Hugging Face 在 Hub 上线 Community Evals，基准数据集仓库可注册为 benchmark 并在数据集卡片展示排行榜，模型仓库用 .eval_results/*.yaml 存放评测分数。
推荐理由：Hugging Face 把评测结果从黑箱榜单搬到 Hub 上公开聚合，读者可了解评测透明化的一种新做法。
Hugging Face Blog精选AI 评分6262 Meta 发布 Gaia2 智能体基准与 ARE 研究环境
Meta 发布 GAIA 后续智能体基准 Gaia2，并开源配套的 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：GAIA 后续基准 Gaia2 与 Meta ARE 环境同时开源，读者可了解智能体在噪声、时间与歧义场景下的评测方式。
Hugging Face Blog精选AI 评分6060 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上提交过的全部 3,751 个模型。旧评测器因答案格式、SymPy 解析和答案比对问题误判正确答案，替换后模型平均多解出 61 道题，MATH 子集平均提升 4.66 分，Algebra 与 Prealgebra 分别提升 8.27 和 6.93 分。
推荐理由：原文给出评测器替换前后的具体差异与榜单变化，读者可据此判断数学评测口径对模型排名的影响。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 在 GAIA 基准上登顶
Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节，包括工具设计、安全解释器与规划策略，可迁移到自建智能体系统。
Hugging Face Blog精选AI 评分6262 Open LLM Leaderboard 的 MMLU 分数为何对不上？
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字：榜单封装的是 EleutherAI LM Evaluation Harness，而论文用的是 UC Berkeley 的原始实现，两者在提示词、答案比较方式上不同。
推荐理由：同一 MMLU 数据集在三种实现下分数与排名差异明显，读者可据此理解评测数字为何不可直接横向比较。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB 文本嵌入基准
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于在多种嵌入任务上衡量文本嵌入模型性能，包含 56 个数据集、8 类任务，覆盖多达 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 2000 多条结果汇总成统一榜单，读者可据此理解文本嵌入模型的选型依据。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Evaluation on the Hub，可在 Hub 上免代码评测任意模型
Hugging Face 推出 Evaluation on the Hub，由 AutoTrain 驱动，用户无需写代码即可在 Hub 上用任意数据集和指标评测任意模型。评测结果会以 Pull Request 形式写入模型卡元数据，并可在数据集页查看排行榜；官方已用该工具评测数百个模型并提交了 PR。工具支持三种场景：为任务找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型。
推荐理由：Hugging Face 把模型评测做成 Hub 上的一键流程，读者可据此了解免代码评测与结果回写模型卡的做法。