GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理题中的 49 道，每题约 2.40 美元
一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题，运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题（98%），平均每题成本不到 3 美元，整轮约 116 美元。
推荐理由：这份基准把理论物理的常规计算题交给多个商用智能体，并给出成本与错题归因，可用来判断智能体在科研流程中的实际位置。
#Hugging Face
#Hugging Face
今日 0 条The Decoder精选AI 评分7676
Hugging Face Blog精选AI 评分6666 Nemotron 微调后在 IOI 2026 与 IMO 2026 均达金牌水平
英伟达团队从 Nemotron 3 出发，用 SFT、RL 和生成-验证-改进推理流程微调出专用模型，在 IOI 2026 和 IMO 2026 均达到金牌水平。
推荐理由：原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集，可迁移到其他专业领域。
Hugging Face Blog精选AI 评分7171 微软与 Hugging Face 发布 ThinkingBox：按数据库终态给 AI 智能体打分
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox，通过隔离的 MCP 工具会话运行智能体，再依据终端后端状态和副作用而非模型生成的文字来判定任务成败。
推荐理由：微软与 Hugging Face 联合发布的智能体评测基准，用后端数据库状态而非模型自述来判定任务成败，并给出可复现的 OpenEnv 运行方式。
Hugging Face BlogAI 评分3535 ProvenanceGuard：面向 MCP 智能体的来源感知事实核查
Hugging Face 发布论文 ProvenanceGuard，一种面向 MCP 智能体的生成后验证层，可保留工具输出的来源 ID，逐条核查答案中的声明是否由其所声称的来源支持，而非仅看证据池中是否存在该事实。在 281 条医疗智能体真实 trace 上，专家判定应拦截的 139 条声明中它拦下 138 条，来源识别准确率约 86%，并在与四种核查器的对比中得分最高。
Hugging Face Blog精选AI 评分6262 IBM 研究提出一致性指南，将智能体一致性差距从 24.4pp 降至 12.0pp
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer，用于衡量并改善智能体在重复运行中的不稳定性。
推荐理由：原文用 Pass^k 与 Mean@k 的差距量化智能体不稳定性，并给出可复用的诊断与改进流程。
Hugging Face BlogAI 评分3636 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT，一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法，基于 100 个 LLM、16 个 benchmark、超 34K 道题训练，在未被告知各 benchmark 测什么的情况下自行恢复出安全与通用推理两个主导维度。
Hugging Face BlogAI 评分5252 Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上的首个印度语言。
Hugging Face Blog精选AI 评分6060 Multiverse Computing 提出 Quantization-Aware Healing，4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 版本
Multiverse Computing 发布论文提出 Quantization-Aware Healing（QAH），直接从未压缩的原始模型蒸馏，而非从恢复后的 bfloat16 checkpoint 蒸馏。
推荐理由：论文给出压缩后 4-bit 模型反超自身 bfloat16 版本的基准对比，以及 QAH 与 QAT 的训练稳定性差异。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三类探针量化 ASR 模型的基准优化现象，并给出可复用的检测脚本与榜单入口。
Hugging Face Blog精选AI 评分7171 Hugging Face 复现 2200 余篇 ICML 论文，公开全部判定数据
Hugging Face 在 7 月 15 日至 8 月 2 日举办 ICML 2026 开放复现挑战，1211 名社区成员用 Claude Code、Codex、Cursor 等编码智能体提交了 6816 份 Trackio logbook，覆盖 2226 篇论文，约占会议论文的三分之一。
推荐理由：Hugging Face 公开了 2200 余篇 ICML 论文的复现结果与判定数据，读者可据此了解大规模论文复现的组织方式与发现。
Hugging Face BlogAI 评分3838 比 ACE 更省 Token：ALTK-Evolve 如何用更少推理成本实现更高准确率
Hugging Face 的 ALTK-Evolve 与 ACE 同属无需更新权重、无需人工标注的智能体记忆方案，但 ALTK-Evolve 把记忆投递当作可调旋钮，按任务检索少量高支持度 guideline，而非每步注入完整 playbook。
Hugging Face BlogAI 评分3838 Hugging Face 提出离线 Top-K Logits 与融合分块 KL 损失，让知识蒸馏可大规模运行
Hugging Face 最新论文提出两项系统改动降低 LLM 知识蒸馏成本：离线缓存教师模型每位置的 top-100 logits，使教师无需与学生同时驻留显存；融合分块 KL 损失避免生成完整的词表×序列长度矩阵。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质量基准
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
Hugging Face BlogAI 评分4747 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench，一个评估 AI 智能体跨框架迁移企业级 Java 应用的开源基准，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 项迁移任务和 1331 个专家测试。
Hugging Face BlogAI 评分2222 DiScoFormer：一个 Transformer 同时估计任意分布的密度与 score
Hugging Face 博客介绍 DiScoFormer（Density and Score Transformer），一个无需重训练、单次前向即可从数据点估计分布密度与 score 的模型。
Hugging Face BlogAI 评分4242 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 评测榜 FFASR，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 两列做 sim-to-real 验证。
Hugging Face BlogAI 评分4646 MosaicLeaks：你的深度研究智能体会泄密吗？
Hugging Face 博客提出 MosaicLeaks，用 1001 条多跳研究链评测深度研究智能体的隐私泄漏，攻击者仅凭外部查询日志即可推断私有信息。测试中智能体频繁泄漏，且只优化任务表现会加剧泄漏；其提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%，同时把答案/全信息泄漏从 34.0% 降至 9.9%。
Hugging Face BlogAI 评分2424 QIMMA قِمّة：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة，一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分3636 Ecom-RLVE：面向电商对话智能体的自适应可验证环境
Hugging Face 将 RLVE 框架从单轮推理题扩展到多轮、工具增强的电商对话，推出 EcomRLVE-GYM，包含产品发现、替代品、购物车搭建、退货、订单追踪、政策问答、组合规划、多意图旅程 8 个可验证环境，每个环境配备程序化题目生成、12 轴难度课程和算法可验证奖励。
Hugging Face BlogAI 评分4141 VAKRA 基准解析：AI 智能体的推理、工具调用与失败模式
Hugging Face 发布 VAKRA 基准，用于评估 AI 智能体在企业级环境中的推理与行动能力，覆盖 62 个领域、8,000+ 本地托管 API，任务需 3-7 步推理链。
Hugging Face BlogAI 评分2222 OpenMed 用 165 美元训练跨 25 物种的 mRNA 语言模型
OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线，其中 CodonRoBERTa-large-v2 以困惑度 4.10、Spearman CAI 相关性 0.40 明显优于 ModernBERT。团队随后扩展到 25 个物种，用 55 GPU-hours 训练出 4 个生产模型，并搭建了目前其他开源项目未提供的物种条件化系统。
Hugging Face BlogAI 评分5151 ServiceNow 发布语音智能体端到端评测框架 EVA
ServiceNow 在 Hugging Face 发布 EVA，一个面向对话式语音智能体的端到端评测框架，同时给出 EVA-A（准确率）和 EVA-X（体验）两个分数，并称是首个联合评估任务成功与对话体验的框架。
Hugging Face BlogAI 评分2222 Alyah ⭐️：面向阿拉伯语 LLM 阿联酋方言能力的稳健评测基准
Hugging Face 博客介绍阿联酋方言评测基准 Alyah，含 1,173 条由阿联酋母语者手工采集的样本，每题四选一。团队评测了 54 个语言模型（23 个基座、31 个指令微调），覆盖 Jais、Allam、Qwen、LLaMA、Fanar、AceGPT 等，基座模型中 google/gemma-3-27b-pt 以 74.68 准确率居首。
Hugging Face BlogAI 评分3434 AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产全生命周期管理的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
Hugging Face BlogAI 评分3434 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布覆盖 60+ 模型、18 家机构、11 个数据集的 ASR 趋势预印本。Conformer 编码器加 LLM 解码器在英语转录准确率上领先，CTC/TDT 解码器吞吐量快 10–100 倍；多语言仍以 Whisper Large v3 为强基线，长音频则闭源系统暂时领先。
Hugging Face BlogAI 评分5858 ServiceNow 发布 Apriel-H1：将 15B 推理模型蒸馏为 Mamba 混合架构
ServiceNow 将 15B 推理模型改造为 Mamba 混合架构，旗舰 Apriel-H1-15b-Thinker-SFT 在 76.8B token 训练后实现 2.1 倍吞吐，MATH500 从 0.90 升至 0.92、MTBench 从 8.30 升至 8.58，GSM8k、GPQA、AIME24 略有下降。
Hugging Face BlogAI 评分3838 NVIDIA 发布 Nemotron-Personas-India：面向主权 AI 的合成印度人物数据集
NVIDIA 发布 Nemotron-Personas-India，首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人物数据集，采用 CC BY 4.0 许可。
Hugging Face BlogAI 评分3838 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评估嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测以防过拟合。
Hugging Face Blog精选AI 评分6262 Meta 发布 Gaia2 智能体基准与 ARE 研究环境
Meta 发布 GAIA 后续智能体基准 Gaia2，并开源配套的 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：GAIA 后续基准 Gaia2 与 Meta ARE 环境同时开源，读者可了解智能体在噪声、时间与歧义场景下的评测方式。
Hugging Face BlogAI 评分3838 SandboxAQ 开源 SAIR 数据集：500 万+ 蛋白质-配体 3D 结构加速药物研发
SandboxAQ 在 Hugging Face 上开源 SAIR 数据集，包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构，每个结构均配有 ChEMBL 或 BindingDB 的实验 IC₅₀ 数据，采用 CC BY 4.0 许可免费开放。
Hugging Face BlogAI 评分3838 Kimina-Prover-RL：开源 Lean 4 定理证明训练管线，兼容 Verl
Kimina Prover 团队开源了 kimina-prover-rl 训练管线，基于 DeepSeek-R1 式"先推理后生成"范式，用于 Lean 4 形式化定理证明，并完全兼容 Verl 框架。
Hugging Face BlogAI 评分2222 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 发布 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言，包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并已评测 20+ 个 SOTA LLM。
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم）基准，用于评估阿拉伯语 LLM 在 STEM 与代码生成上的表现，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face BlogAI 评分4545 TimeScope：你的视频大模型能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段，评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分3333 Arc Institute 虚拟细胞挑战赛入门指南：用 STATE 模型预测基因沉默效应
Arc Institute 发起 Virtual Cell Challenge，要求参赛者训练模型预测 CRISPR 沉默基因对（部分）未见细胞类型的影响，即"上下文泛化"。
Hugging Face BlogAI 评分4040 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 数据，每周约摄入 8 个问题，采用 DeepSeek-V3 生成问题、Firecrawl 抓取内容、Tavily 补充搜索。
Hugging Face BlogAI 评分5252 Ettin Suite 发布：同配方训练的 SoTA 配对编码器与解码器
Hugging Face 博客发布 Ettin Suite，这是首个用完全相同的数据（2T tokens）、架构形状和训练配方训练的 SoTA 配对编码器与解码器模型系列，参数规模覆盖 17M 到 1B。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 ScreenSuite，面向 GUI Agent 的综合评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的综合评测套件，统一整合了 13 个基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，统一 13 个基准并支持 Docker 本地部署，可据此判断视觉语言模型的智能体能力。
Hugging Face BlogAI 评分4848 Hugging Face 研究：CodeAgents 结合结构化生成可提升智能体表现
Hugging Face 研究发现，强制 CodeAgent 以结构化 JSON 格式同时生成 thoughts 和 code，在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。