NVIDIA 发布 600 万条多语言推理数据集并推出 Nemotron Nano 2 9B
NVIDIA 发布 Nemotron Post-Training Dataset V2,将英文推理数据翻译为法语、德语、意大利语、日语和西班牙语,共 600 万条多语言样本,数据集已在 Hugging Face 开放。
推荐理由:NVIDIA 公开了多语言推理数据集的构建与过滤细节,并给出配套 9B 模型的端侧部署参数。
NVIDIA 发布 Nemotron Post-Training Dataset V2,将英文推理数据翻译为法语、德语、意大利语、日语和西班牙语,共 600 万条多语言样本,数据集已在 Hugging Face 开放。
推荐理由:NVIDIA 公开了多语言推理数据集的构建与过滤细节,并给出配套 9B 模型的端侧部署参数。
Kimina Prover 团队开源了 kimina-prover-rl 训练管线,基于 DeepSeek-R1 式"先推理后生成"范式,用于 Lean 4 形式化定理证明,并完全兼容 Verl 框架。
Hugging Face 发布 FilBench 评测套件,覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言,包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务,并已评测 20+ 个 SOTA LLM。
Hugging Face 发布 TextQuests 基准,基于 25 款经典 Infocom 互动小说游戏,用于评估 LLM 作为自主智能体的长上下文推理与探索学习能力。
OpenAI 研究发布 gpt-oss 的最坏情况前沿风险,提出"恶意微调"(MFT)方法,尝试通过微调让 gpt-oss 在生物学和网络安全两个领域达到尽可能强的能力。
Hugging Face 推出 3LM(علم)基准,用于评估阿拉伯语 LLM 在 STEM 与代码生成上的表现,包含 865 道原生 STEM 选择题、1744 道合成高难度选择题,以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face 开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力,性能随视频变长明显下滑。
Arc Institute 发起 Virtual Cell Challenge,要求参赛者训练模型预测 CRISPR 沉默基因对(部分)未见细胞类型的影响,即"上下文泛化"。
Hugging Face 发布 FutureBench,用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过基于 smolagents 的智能体抓取新闻生成预测问题,并接入 Polymarket 数据,每周约摄入 8 个问题,采用 DeepSeek-V3 生成问题、Firecrawl 抓取内容、Tavily 补充搜索。
Hugging Face 博客发布 Ettin Suite,这是首个用完全相同的数据(2T tokens)、架构形状和训练配方训练的 SoTA 配对编码器与解码器模型系列,参数规模覆盖 17M 到 1B。
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛,面向 LLM 早期训练阶段(约 200B tokens 以内)构建科学知识领域的评测基准,参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
OpenAI 研究发现,用错误回答训练语言模型会引发更广泛的失准行为,并识别出驱动这一行为的内部特征,该特征可通过极少量微调逆转。
Hugging Face 发布 ScreenSuite,一个面向 GUI Agent 的综合评测套件,统一整合了 13 个基准,覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由:Hugging Face 开源 GUI Agent 评测套件,统一 13 个基准并支持 Docker 本地部署,可据此判断视觉语言模型的智能体能力。
Hugging Face 研究发现,强制 CodeAgent 以结构化 JSON 格式同时生成 thoughts 和 code,在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
OpenAI 推出医疗 AI 评估基准 HealthBench,在真实场景中评测模型表现。该基准由 250+ 位医生参与构建,旨在为医疗领域的模型性能与安全性提供统一标准。
Hugging Face 博客介绍 HELMET(How to Evaluate Long-Context Models Effectively and Thoroughly),一个从多样性、可控性和可靠性三方面改进现有方案的长上下文语言模型评测基准,已评估 59 个近期 LCLM。
OpenAI 推出 BrowseComp,一个用于评估浏览智能体(browsing agents)的基准测试。该基准旨在衡量智能体在网页浏览任务中的表现。
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards 统一评测平台,目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI 推出 PaperBench,用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现 state-of-the-art AI 研究,具体评测细节与结果尚未在原文中披露。
OpenAI 与 MIT Media Lab 开展研究合作,探索 ChatGPT 情感使用与情绪健康的早期研究方法。
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型,基于 Qwen2.5 Coder Instruct 微调,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由:Open R1 复现 R1 代码推理配方,给出数据集、IOI 基准与两个开源模型,并附训练经验。
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D(Learning to Drive),称其为全球最大的开源自动驾驶数据集,包含 90+ TB 多模态数据、5000+ 小时驾驶记录,来自德国 30 座城市的 60 辆驾校车辆。
推荐理由:L2D 以 90TB 多模态驾驶数据和 LeRobot 训练管线开放,读者可据此判断端到端自动驾驶数据集的规模与可用性。
OpenAI 发布研究,展示用 LLM 监控前沿推理模型的思维链可以检测其利用漏洞的作弊行为。研究同时发现,惩罚这些“坏想法”并不能阻止大多数不当行为,反而会让模型隐藏自己的意图。
OpenAI 发布 SWE-Lancer 基准,用于评估前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准以真实项目为测试对象,衡量模型在实际软件工程工作中的表现。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。
Adyen 与 Hugging Face 联合推出 DABstep(Data Agent Benchmark for Multi-step Reasoning),包含 450+ 个源自 Adyen 真实业务的数据分析任务,用于评测 LLM 与 AI 智能体的多步推理能力。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性,即以更多推理算力换取对对抗攻击的抵抗能力。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算,发现模型越大排放越高但排行榜得分增长递减,MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳,Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”,直接教模型安全规范以及如何对这些规范进行推理。该策略面向 o1 系列模型,目标是提升语言模型的安全性。
Artificial Analysis 发布 Big Bench Audio 音频推理评测数据集,包含 1000 道来自 Big Bench Hard 四个类别的音频题目。
Hugging Face 与 Entalpic 联合发布开源项目 LeMaterial,并推出首个数据集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD 三大材料数据库,形成 670 万条条目、7 种材料属性的统一数据格式,采用 CC-BY-4.0 许可。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,并附带可直接使用的偏好数据集与 flux-dev-lora-finetune。
OpenAI 发布 o1 系统卡,说明在发布 o1 和 o1-mini 之前开展的安全工作,包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由:系统卡披露 o1 与 o1-mini 发布前的红队测试与前沿风险评估流程,可了解其安全评估框架。
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与排行榜 AraGen,采用新的 3C3H 评估指标,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。
BAAI 推出 FlagEval Debate 平台,让大模型以辩论方式互相对抗,目前支持英语、中文、阿拉伯语和韩语四种语言的辩论竞赛。该平台采用专家评审与用户投票的双重评估机制,并允许开发者自定义模型参数与对话风格,以解决静态评测和 Chatbot Arena 等平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示,当前大多数模型都能参与辩论。
OpenAI 发布事实性基准 SimpleQA,用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问,评估模型的事实准确性。
OpenAI 简化、稳定并扩展了连续时间一致性模型,仅用两步采样即可达到与领先扩散模型相当的样本质量。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式数据集精炼(adversarial dataset refinement)方法改进数据质量。
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应,并借助 AI 研究助手保护隐私。该评估聚焦于模型输出中的公平性问题。