新基准 Taste-Bench 显示 AI 智能体长期决策能力不足
研究者提出 Taste-Bench，用 502 道二元选择题考察智能体在决策分叉点选择更优路径的能力，最佳模型 GPT-5.6 Sol 平均准确率仅 59.7%。
#评测/基准
#评测/基准
今日 0 条The DecoderAI 评分5858
The Decoder精选AI 评分7676 GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理题中的 49 道，每题约 2.40 美元
一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题，运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题（98%），平均每题成本不到 3 美元，整轮约 116 美元。
推荐理由：这份基准把理论物理的常规计算题交给多个商用智能体，并给出成本与错题归因，可用来判断智能体在科研流程中的实际位置。
Import AIAI 评分2222 Import AI 476：创造力与递归自我改进；不如中国的开源权重模型；AI 走向太空
Elorian 与 Scale AI 发布 Humanity's Sixth Sense（HSS）基准，用 522 道题、288 张图和 234 段短视频（共 17.6 小时）测试多模态模型的直觉视觉推理，人类 pass@1 为 93.1，最佳模型 GPT 6 Astra 仅 53.6，GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
The DecoderAI 评分7171 Vals AI 研究：AI 智能体团队成本高数倍，质量提升有限
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5，分别以单体智能体和智能体团队形式运行，并设置中等与最高两档推理强度。
Simon WillisonAI 评分2222 Qwen3.8 27B 用英文单词做加法的基准测试
本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时做英文单词加法仅得 23.57% 数值准确率，格式合规率 96.17%，但一至三位数操作数准确率 97.04%，十至十三位数骤降至 6.44%。启用推理后 169 次配对测试中答对 167 次。该实验在 DGX Spark 上复现 GPT-4o 两年前的同类测试。
GitHub Blog · AI & MLAI 评分5858 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，研究预览版已上线官网。
The DecoderAI 评分6060 Mercor 研究：AI 在记账任务上速度与准确率超过持证会计师，但仍无法独立完成结账
Mercor 的一项研究让 12 名平均 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 的简化任务，结果显示 AI 模型在结构化记账任务上比会计师更快、更准确且成本更低。
TechCrunch · AIAI 评分4040 研究发现 Claude Opus 5.5 和 GPT 模型各有"AI 写作指纹"
Graphite 研究分析了前沿模型的写作习惯，发现 Claude Opus 5.5 最爱说"this matters"（比人类写作高频 116 倍），而 OpenAI 的 Astra 偏好"not simply X"式纠正性框架（超人类 100 倍）。
The DecoderAI 评分5252 LEGO-Anything 用编码智能体从单张照片生成 Blender 3D 场景，并发布 LEGO-Bench 基准
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片迭代编写可执行的 Blender 程序，输出可运行、可编辑、可查询的 3D 场景。为评测效果，团队构建 LEGO-Bench，包含来自 104 个室内外场景的 208 张图像和 443 个注册资产，从有效性、几何精度和外观相似度三个维度打分。
OpenAI NewsAI 评分3131 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
Hugging Face Blog精选AI 评分6262 IBM 研究提出一致性指南，将智能体一致性差距从 24.4pp 降至 12.0pp
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer，用于衡量并改善智能体在重复运行中的不稳定性。
推荐理由：原文用 Pass^k 与 Mean@k 的差距量化智能体不稳定性，并给出可复用的诊断与改进流程。
Hugging Face BlogAI 评分3636 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT，一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法，基于 100 个 LLM、16 个 benchmark、超 34K 道题训练，在未被告知各 benchmark 测什么的情况下自行恢复出安全与通用推理两个主导维度。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三类探针量化 ASR 模型的基准优化现象，并给出可复用的检测脚本与榜单入口。
Import AIAI 评分3232 Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了新基准 DiG-bench，用 70 款隐藏规则的游戏测试 AI 的探索与发现能力，Opus 5 和 Fable 5 搭配 Claude Code 表现最佳，但在最难的第 7 档任务上成功率仅 0.2，而人类可达 100%。
Microsoft ResearchAI 评分4141 MindTopo 基准揭示多模态大模型的空间推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显好于交互式规划任务，且两者均远低于人类水平；失败多出现在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助，跨多步操作仍不可靠。
Hugging Face BlogAI 评分3838 比 ACE 更省 Token：ALTK-Evolve 如何用更少推理成本实现更高准确率
Hugging Face 的 ALTK-Evolve 与 ACE 同属无需更新权重、无需人工标注的智能体记忆方案，但 ALTK-Evolve 把记忆投递当作可调旋钮，按任务检索少量高支持度 guideline，而非每步注入完整 playbook。
Import AIAI 评分6262 Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统在长周期编程任务上的表现，任务要求仅凭 CLI 访问重新实现目标程序。25 个目标程序中有 17 个至少出现一次满分运行，另有 4 个接近满分；Opus 4.7 用 14 小时、251 美元推理成本完成了一项人类预计需 2 至 17 周的任务。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质量基准
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分3838 OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性问题，引发对 AI 模型评测准确性的担忧。
Hugging Face BlogAI 评分4747 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench，一个评估 AI 智能体跨框架迁移企业级 Java 应用的开源基准，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 项迁移任务和 1331 个专家测试。
OpenAI NewsAI 评分2828 OpenAI 推出 GeneBench-Pro 基准
OpenAI 发布 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研领域表现的新基准。
Hugging Face BlogAI 评分4242 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 评测榜 FFASR，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 两列做 sim-to-real 验证。
OpenAI NewsAI 评分3434 OpenAI 推出 LifeSciBench：面向生命科学研究任务的专家评测基准
OpenAI 发布 LifeSciBench，一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。该基准聚焦现实科研场景中的任务与判断，而非通用问答。
Hugging Face BlogAI 评分2424 QIMMA قِمّة：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة，一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分4141 VAKRA 基准解析：AI 智能体的推理、工具调用与失败模式
Hugging Face 发布 VAKRA 基准，用于评估 AI 智能体在企业级环境中的推理与行动能力，覆盖 62 个领域、8,000+ 本地托管 API，任务需 3-7 步推理链。
Google ResearchAI 评分4040 Google Research 发布 LLM 行为倾向对齐评估框架
Google Research 提出一套评估 LLM 行为倾向与人类共识对齐程度的框架，将 IRI、ERQ 等心理问卷改编为情境判断测试（SJT），在 25 个 LLM 上测试共情、情绪调节等四类特质。
Google ResearchAI 评分3131 Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1-5 名标注者往往不足，反映人类意见分歧常需超过 10 名标注者。
Hugging Face BlogAI 评分5151 ServiceNow 发布语音智能体端到端评测框架 EVA
ServiceNow 在 Hugging Face 发布 EVA，一个面向对话式语音智能体的端到端评测框架，同时给出 EVA-A（准确率）和 EVA-X（体验）两个分数，并称是首个联合评估任务成功与对话体验的框架。
Google DeepMindAI 评分4646 Google DeepMind 发布 AGI 认知框架，并启动 Kaggle 黑客松构建评测
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出用认知科学衡量 AGI 进展的框架，涵盖感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决和社会认知 10 项认知能力，并配套三阶段评测协议。
Google ResearchAI 评分4040 Google 在 PNAS 发表研究：用高温超导问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按 6 项指标盲评打分。
Hugging Face BlogAI 评分4747 IBM 与 UC Berkeley 用 ITBench 和 MAST 诊断企业级智能体失败原因
IBM Research 与 UC Berkeley 用 MAST 失败分类法分析了 310 条 ITBench SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
OpenAI NewsAI 评分3838 OpenAI 与 Paradigm 推出 EVMbench，评测 AI 智能体发现与利用智能合约漏洞能力
OpenAI 与 Paradigm 联合推出 EVMbench，用于评测 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞的发现、修复与攻击三个环节。
Hugging Face BlogAI 评分2222 Alyah ⭐️：面向阿拉伯语 LLM 阿联酋方言能力的稳健评测基准
Hugging Face 博客介绍阿联酋方言评测基准 Alyah，含 1,173 条由阿联酋母语者手工采集的样本，每题四选一。团队评测了 54 个语言模型（23 个基座、31 个指令微调），覆盖 Jais、Allam、Qwen、LLaMA、Fanar、AceGPT 等，基座模型中 google/gemma-3-27b-pt 以 74.68 准确率居首。
Hugging Face BlogAI 评分3434 AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产全生命周期管理的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
OpenAI NewsAI 评分3838 OpenAI 推出 FrontierScience 基准，评估 AI 科研推理能力
OpenAI 发布 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的进展。
Google DeepMindAI 评分4040 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共含 3,513 个公开样例。
Google ResearchAI 评分3636 Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评测声音嵌入模型的八项听觉能力，涵盖检索、推理、分类、转录、分割、聚类、重排与重建。
Hugging Face BlogAI 评分3434 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布覆盖 60+ 模型、18 家机构、11 个数据集的 ASR 趋势预印本。Conformer 编码器加 LLM 解码器在英语转录准确率上领先，CTC/TDT 解码器吞吐量快 10–100 倍；多语言仍以 Whisper Large v3 为强基线，长音频则闭源系统暂时领先。
OpenAI NewsAI 评分2727 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 发布 IndQA，一个用于评估 AI 系统印度语言能力的新基准，覆盖 12 种语言和 10 个知识领域，由领域专家参与构建，重点考察文化理解与推理能力。
Hugging Face BlogAI 评分3838 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评估嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测以防过拟合。