OpenAI 提升 ChatGPT 对低资源编程语言的支持
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现，并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。
#评测/基准
#评测/基准
今日 1 条OpenAI NewsAI 评分3838
AWS Machine Learning BlogAI 评分3434 用 Amazon Bedrock AgentCore 构建 AI 智能体的生产级评估框架
AWS 销售、营销与全球服务（SMGS）运营团队基于 Amazon Bedrock AgentCore 搭建了生产级多智能体评估框架，用于持续检验智能体回答是否有据且正确。
Microsoft ResearchAI 评分2222 Microsoft 研究：AI 评测如何暴露传统 benchmark 之外的“意外失败”
Microsoft 伙伴研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界，以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时应仔细审视数据。
AWS Machine Learning BlogAI 评分3434 用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器，可在开发和生产阶段衡量智能体的准确性、任务成功率与行为表现。
GitHub Blog · AI & MLAI 评分5858 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，研究预览版已上线官网。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
OpenAI NewsAI 评分3131 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
Hugging Face BlogAI 评分3434 英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由：MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据，可用于比较推理基础设施的长期经济性。
Hugging Face Blog精选AI 评分6262 IBM 研究提出一致性指南，将智能体一致性差距从 24.4pp 降至 12.0pp
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer，用于衡量并改善智能体在重复运行中的不稳定性。
推荐理由：原文用 Pass^k 与 Mean@k 的差距量化智能体不稳定性，并给出可复用的诊断与改进流程。
Hugging Face BlogAI 评分3636 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT，一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法，基于 100 个 LLM、16 个 benchmark、超 34K 道题训练，在未被告知各 benchmark 测什么的情况下自行恢复出安全与通用推理两个主导维度。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三类探针量化 ASR 模型的基准优化现象，并给出可复用的检测脚本与榜单入口。
Microsoft ResearchAI 评分4141 MindTopo 基准揭示多模态大模型的空间推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显好于交互式规划任务，且两者均远低于人类水平；失败多出现在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助，跨多步操作仍不可靠。
Hugging Face BlogAI 评分3838 比 ACE 更省 Token：ALTK-Evolve 如何用更少推理成本实现更高准确率
Hugging Face 的 ALTK-Evolve 与 ACE 同属无需更新权重、无需人工标注的智能体记忆方案，但 ALTK-Evolve 把记忆投递当作可调旋钮，按任务检索少量高支持度 guideline，而非每步注入完整 playbook。
OpenAI NewsAI 评分3838 两个 API 设置如何让 GPT-5.6 在 ARC-AGI-3 基准上得分翻三倍
启用两个 API 设置后，GPT-5.6 在 ARC-AGI-3 基准上的得分提升至原来的三倍。这两个设置分别用于保留推理过程和启用压缩（compaction），在提高分数的同时也提升了效率。
Hugging Face BlogAI 评分2222 DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语 OCR 基准上取得 0.925 分，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量与稳定性上保持优势。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质量基准
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分3838 OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性问题，引发对 AI 模型评测准确性的担忧。
Hugging Face BlogAI 评分4747 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench，一个评估 AI 智能体跨框架迁移企业级 Java 应用的开源基准，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 项迁移任务和 1331 个专家测试。
OpenAI NewsAI 评分2828 OpenAI 推出 GeneBench-Pro 基准
OpenAI 发布 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研领域表现的新基准。
Hugging Face Blog精选AI 评分6262 Hugging Face 模型页展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并链接回完整记录。
推荐理由：原文给出 EEE 与 Community Evals 互通的转换器和审核流程，读者可据此判断评测结果如何统一上报与溯源。
Hugging Face BlogAI 评分4242 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 评测榜 FFASR，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 两列做 sim-to-real 验证。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 agent-eval：用自有工具评测开源模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，用 transformers 作为案例，在 bare、clone、skill 三种配置下跨模型和版本测量智能体完成任务所需的轮次、token 和错误率。
推荐理由：用 transformers 做案例，展示如何按模型规模和版本评测工具对智能体的友好度，并给出可复用的评测工具。
OpenAI NewsAI 评分3434 OpenAI 推出 LifeSciBench：面向生命科学研究任务的专家评测基准
OpenAI 发布 LifeSciBench，一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。该基准聚焦现实科研场景中的任务与判断，而非通用问答。
Google DeepMind精选AI 评分7575 Google DeepMind 回顾 AlphaEvolve 一年成果：从基因组学到 TPU 设计
Google DeepMind 发布 AlphaEvolve 推出一周年的成果汇总，这款由 Gemini 驱动的编码智能体已从试点进入 Google 基础设施核心环节。
推荐理由：官方汇总 AlphaEvolve 一年来在科研、基础设施与商业场景的落地数据，可据此判断编码智能体的实际边界。
Hugging Face BlogAI 评分3434 Hugging Face 为 Open ASR Leaderboard 引入私有数据集以抵御 benchmaxxing
Hugging Face 联合 Appen Inc. 和 DataoceanAI 为 Open ASR Leaderboard 引入高质量私有英文 ASR 数据集，覆盖多口音的朗读与对话语音，以防止 benchmaxxing 和测试集污染。榜单默认平均 WER 仍仅基于公开数据集计算，用户可通过开关选择是否纳入私有数据集。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Hugging Face BlogAI 评分2424 QIMMA قِمّة：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة，一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分4141 VAKRA 基准解析：AI 智能体的推理、工具调用与失败模式
Hugging Face 发布 VAKRA 基准，用于评估 AI 智能体在企业级环境中的推理与行动能力，覆盖 62 个领域、8,000+ 本地托管 API，任务需 3-7 步推理链。
Google ResearchAI 评分4848 Google 推出 Vantage：用生成式 AI 评估未来技能
Google 在 Google Labs 上线研究实验 Vantage，用生成式 AI 构建模拟对话环境，评估高中与大学生面向未来的技能，目前提供英文版并可注册。Vantage 与纽约大学合作开发，由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，188 名 18-25 岁美国测试者的研究显示其评分与人类专家一致度接近专家间一致度。
Google ResearchAI 评分4040 Google Research 发布 LLM 行为倾向对齐评估框架
Google Research 提出一套评估 LLM 行为倾向与人类共识对齐程度的框架，将 IRI、ERQ 等心理问卷改编为情境判断测试（SJT），在 25 个 LLM 上测试共情、情绪调节等四类特质。
Google ResearchAI 评分3131 Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1-5 名标注者往往不足，反映人类意见分歧常需超过 10 名标注者。
Hugging Face BlogAI 评分5151 ServiceNow 发布语音智能体端到端评测框架 EVA
ServiceNow 在 Hugging Face 发布 EVA，一个面向对话式语音智能体的端到端评测框架，同时给出 EVA-A（准确率）和 EVA-X（体验）两个分数，并称是首个联合评估任务成功与对话体验的框架。
Google DeepMindAI 评分4646 Google DeepMind 发布 AGI 认知框架，并启动 Kaggle 黑客松构建评测
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出用认知科学衡量 AGI 进展的框架，涵盖感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决和社会认知 10 项认知能力，并配套三阶段评测协议。
Google ResearchAI 评分4040 Google 在 PNAS 发表研究：用高温超导问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按 6 项指标盲评打分。
OpenAI NewsAI 评分3131 OpenAI 与太平洋西北国家实验室合作，推出 DraftNEPABench 加速联邦许可审批
OpenAI 与太平洋西北国家实验室联合推出 DraftNEPABench，用于评估 AI 编程智能体加速联邦许可审批的能力。该基准显示，NEPA 文件起草时间最多可缩短 15%，有望推动基础设施审查现代化。
OpenAI NewsAI 评分4242 OpenAI 为何不再评估 SWE-bench Verified
OpenAI 宣布不再评估 SWE-bench Verified，原因是该基准日益受到污染，且无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷与训练数据泄漏问题，并推荐改用 SWE-bench Pro。
Hugging Face BlogAI 评分4747 IBM 与 UC Berkeley 用 ITBench 和 MAST 诊断企业级智能体失败原因
IBM Research 与 UC Berkeley 用 MAST 失败分类法分析了 310 条 ITBench SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
OpenAI NewsAI 评分3838 OpenAI 与 Paradigm 推出 EVMbench，评测 AI 智能体发现与利用智能合约漏洞能力
OpenAI 与 Paradigm 联合推出 EVMbench，用于评测 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞的发现、修复与攻击三个环节。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 Community Evals，让基准数据集托管排行榜
Hugging Face 在 Hub 上线 Community Evals，基准数据集仓库可注册为 benchmark 并在数据集卡片展示排行榜，模型仓库用 .eval_results/*.yaml 存放评测分数。
推荐理由：Hugging Face 把评测结果从黑箱榜单搬到 Hub 上公开聚合，读者可了解评测透明化的一种新做法。
Hugging Face BlogAI 评分4242 H Company 发布 Holo2-235B-A22B Preview，UI 定位刷新 SOTA
H Company 发布迄今最大的 UI 定位模型 Holo2-235B-A22B Preview，在 ScreenSpot-Pro 上以 78.5% 刷新 SOTA，OSWorld G 达 79.0%，模型已在 Hugging Face 开放。该模型单步在 ScreenSpot-Pro 上达 70.6%，配合智能体式定位可在 3 步内迭代提升精度，各尺寸 Holo2 模型相对提升 10-20%。