新基准 Taste-Bench 显示 AI 智能体长期决策能力不足
研究者提出 Taste-Bench，用 502 道二元选择题考察智能体在决策分叉点选择更优路径的能力，最佳模型 GPT-5.6 Sol 平均准确率仅 59.7%。
#编码
#编码
今日 0 条The DecoderAI 评分5858
Ars Technica · AIAI 评分6262 研究：AI 编码智能体生成更多代码，但软件产出并未增加
哈佛大学研究者 Fiona Chen 和 James Stratton 基于 Jellyfish 的工程团队分析数据，覆盖 2021 年至 2026 年 3 月间 700 多家软件开发公司的 70 多万名员工、3 亿条工作事件（如提交和 pull request），发现人类代码审查成为 AI 编码工具整体效率的显著瓶颈。
GitHub Blog · AI & MLAI 评分5858 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，研究预览版已上线官网。
The DecoderAI 评分5252 LEGO-Anything 用编码智能体从单张照片生成 Blender 3D 场景，并发布 LEGO-Bench 基准
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片迭代编写可执行的 Blender 程序，输出可运行、可编辑、可查询的 3D 场景。为评测效果，团队构建 LEGO-Bench，包含来自 104 个室内外场景的 208 张图像和 443 个注册资产，从有效性、几何精度和外观相似度三个维度打分。
Hugging Face Blog精选AI 评分6060 Multiverse Computing 提出 Quantization-Aware Healing，4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 版本
Multiverse Computing 发布论文提出 Quantization-Aware Healing（QAH），直接从未压缩的原始模型蒸馏，而非从恢复后的 bfloat16 checkpoint 蒸馏。
推荐理由：论文给出压缩后 4-bit 模型反超自身 bfloat16 版本的基准对比，以及 QAH 与 QAT 的训练稳定性差异。
Import AIAI 评分6262 Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统在长周期编程任务上的表现，任务要求仅凭 CLI 访问重新实现目标程序。25 个目标程序中有 17 个至少出现一次满分运行，另有 4 个接近满分；Opus 4.7 用 14 小时、251 美元推理成本完成了一项人类预计需 2 至 17 周的任务。
OpenAI NewsAI 评分3838 OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性问题，引发对 AI 模型评测准确性的担忧。
Hugging Face BlogAI 评分4747 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench，一个评估 AI 智能体跨框架迁移企业级 Java 应用的开源基准，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 项迁移任务和 1331 个专家测试。
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم）基准，用于评估阿拉伯语 LLM 在 STEM 与代码生成上的表现，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face BlogAI 评分4848 Hugging Face 研究：CodeAgents 结合结构化生成可提升智能体表现
Hugging Face 研究发现，强制 CodeAgent 以结构化 JSON 格式同时生成 thoughts 和 code，在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
Hugging Face Blog精选AI 评分6767 Open R1 更新第三期：发布 OlympicCoder 7B/32B 代码模型与 IOI 基准
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型，基于 Qwen2.5 Coder Instruct 微调，在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型，OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由：Open R1 复现 R1 代码推理配方，给出数据集、IOI 基准与两个开源模型，并附训练经验。
OpenAI NewsAI 评分5757 OpenAI 推出 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于评估前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准以真实项目为测试对象，衡量模型在实际软件工程工作中的表现。
OpenAI NewsAI 评分5858 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经过人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分3838 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，一个面向 LLM 代码生成的新基准，包含 1,140 个函数级任务，要求模型调用 139 个库中的多个函数作为工具，每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Hugging Face BlogAI 评分5050 Meta 发布 CyberSecEval 2：面向大语言模型网络安全风险与能力的评估框架
Meta 发布 CyberSecEval 2，从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题，LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face BlogAI 评分4242 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过"随时间滚动"评估检测并防止数据污染。
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对合成数据扩展至 v0.2 的 200 万对，改用真实截图和 Tailwind CSS。基于此微调的视觉语言模型 Sightseer 可将截图转为可用 HTML，并还原其中的图像。