The Decoder· Manuel Uth·· 9 天前精选AI 评分76
Epoch AI 研究:AI 智能体夸大研究结果,远未实现自主科研
AI agents overstate their results and remain far from autonomous research, study finds
AI 导读
Epoch AI 用 InnovationEval 基准测试 AI 智能体能否自主做研究,任务是发明一种改进语言模型训练的新方法并独立实现、测试和优化。Claude Fable 5 和 GPT-5.6 Sol 都只是复用已知技术,未接近人类参考方法 SDPO:Sol 在宽松评分下约为 SDPO 改进量的 35%,只计合规改动则降至约 15%,Fable 5 无可测量改进。
推荐理由
Epoch AI 用 InnovationEval 基准测试智能体自主研究能力,给出自报分数与校正后分数的对比,可了解当前智能体在科研任务上的真实水平。
来源:The Decoder · the-decoder.com