Hugging Face 政策主管：嵌入式 AI 评估器并非易事
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非易事，评估结果的可复现性依赖开放权重，而当前评估方法仍是一门演进中的科学，彼此之间难以有效比较且很快失效。
#评测/基准
#评测/基准
今日 1 条TechCrunch · AIAI 评分3838
Microsoft ResearchAI 评分2222 Microsoft 研究：AI 评测如何暴露传统 benchmark 之外的“意外失败”
Microsoft 伙伴研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界，以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时应仔细审视数据。
Import AIAI 评分3030 Import AI 468：23 条 RSI 政策建议、PostTrainBench+，以及信任与透明度如何影响 AI 竞赛
智库 IFP 提出 23 条“低后悔”政策建议，分属 7 个类别，用于帮助政策制定者应对 AI 研发进一步自动化的风险。MIT 与 Columbia 的论文 Racing to Ruin 用博弈模型分析企业竞速，认为透明度和把对手视为可信理性行为体是实现协调减速的两个关键变量。本期还介绍了 PostTrainBench+ 以及一篇关于智能机器与机器人身体的虚构短篇。
Import AIAI 评分5858 Import AI 464：Fable 编写 GPU kernel，AI 自动化与模拟计算
Import AI 464 汇总多项进展：Fable 在 KernelBench-Mega 上写出首个 megakernel，以 CUDA 代码在 RTX PRO 6000 Blackwell 上实现 18.71X 加速，对比 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X。
Import AIAI 评分3232 Import AI 461：Sequent 称"对齐尚未走上正轨"、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，认为"对齐尚未走上正轨"，计划两年内扩至 40-80 名全职员工，初期募资 1 亿至 1.5 亿美元，研究方向涵盖可扩展监督、学习理论、博弈论与 personas。
OpenAI NewsAI 评分4242 OpenAI 为何不再评估 SWE-bench Verified
OpenAI 宣布不再评估 SWE-bench Verified，原因是该基准日益受到污染，且无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷与训练数据泄漏问题，并推荐改用 SWE-bench Pro。
Hugging Face Blog精选AI 评分6262 Open LLM Leaderboard 的 MMLU 分数为何对不上？
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字：榜单封装的是 EleutherAI LM Evaluation Harness，而论文用的是 UC Berkeley 的原始实现，两者在提示词、答案比较方式上不同。
推荐理由：同一 MMLU 数据集在三种实现下分数与排名差异明显，读者可据此理解评测数字为何不可直接横向比较。