NVIDIA 发布 Nemotron-Personas-India:面向主权 AI 的合成印度人物数据集
NVIDIA 发布 Nemotron-Personas-India,首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人物数据集,采用 CC BY 4.0 许可。
NVIDIA 发布 Nemotron-Personas-India,首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人物数据集,采用 CC BY 4.0 许可。
OpenAI 公布了一套面向 ChatGPT 政治偏见的评估方法,通过新的真实世界测试提升客观性并减少偏见。该方法同时给出了 LLM 政治偏见的定义与评估思路。
Hugging Face 发布 Smol2Operator,用两阶段训练把无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成可操作图形界面的智能体,在 ScreenSpot-v2 上从 0% 提升到 61.71%。
Meta 发布 GAIA 后续智能体基准 Gaia2,并开源配套的 Meta Agents Research Environments(ARE)框架,用于运行、调试和评测智能体。
推荐理由:GAIA 后续基准 Gaia2 与 Meta ARE 环境同时开源,读者可了解智能体在噪声、时间与歧义场景下的评测方式。
Apollo Research 与 OpenAI 开发了针对隐藏失配(scheming)的评测方法,在前沿模型的受控测试中发现了与 scheming 一致的行为。团队公开了具体案例,并对一种减少 scheming 的早期方法进行了压力测试。
推荐理由:OpenAI 与 Apollo Research 公开了隐藏失配的评测方法,并给出早期缓解手段的压力测试示例。
Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle notebook 经去重、教育质量打分、QA 与轨迹生成后得到 51k 合成 notebook、近 0.2B token 的数据集,微调 Qwen3-4B。
推荐理由:完整披露了从 Kaggle notebook 清洗到 SFT 的数据管线与脚手架改动,可迁移到其他小模型智能体训练。
OpenAI 新研究解释了语言模型产生幻觉的原因,并指出改进评测方法可以提升 AI 的可靠性、诚实性与安全性。
SandboxAQ 在 Hugging Face 上开源 SAIR 数据集,包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构,每个结构均配有 ChEMBL 或 BindingDB 的实验 IC₅₀ 数据,采用 CC BY 4.0 许可免费开放。
伯克利 AI 研究证明,在小型初始化、四阶近似等温和条件下,word2vec 的学习问题可化简为无权重最小二乘矩阵分解,其梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。训练中模型按离散步骤逐个学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征即 M* 的顶部特征向量,可由语料统计和超参数预先算出。
Kimina Prover 团队开源了 kimina-prover-rl 训练管线,基于 DeepSeek-R1 式"先推理后生成"范式,用于 Lean 4 形式化定理证明,并完全兼容 Verl 框架。
Hugging Face 发布 FilBench 评测套件,覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言,包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务,并已评测 20+ 个 SOTA LLM。
Hugging Face 发布 TextQuests 基准,基于 25 款经典 Infocom 互动小说游戏,用于评估 LLM 作为自主智能体的长上下文推理与探索学习能力。
OpenAI 研究发布 gpt-oss 的最坏情况前沿风险,提出"恶意微调"(MFT)方法,尝试通过微调让 gpt-oss 在生物学和网络安全两个领域达到尽可能强的能力。
Hugging Face 推出 3LM(علم)基准,用于评估阿拉伯语 LLM 在 STEM 与代码生成上的表现,包含 865 道原生 STEM 选择题、1744 道合成高难度选择题,以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face 开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力,性能随视频变长明显下滑。
Arc Institute 发起 Virtual Cell Challenge,要求参赛者训练模型预测 CRISPR 沉默基因对(部分)未见细胞类型的影响,即"上下文泛化"。
OpenAI 发布 ChatGPT agent 系统卡,介绍这一智能体模型将研究、浏览器自动化和代码工具整合在一起。系统卡说明相关能力在 Preparedness Framework 下配有防护措施。
推荐理由:OpenAI 公开 ChatGPT agent 的系统卡,说明其如何把研究、浏览器操作与代码工具整合并纳入 Preparedness Framework 防护。
Hugging Face 发布 FutureBench,用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过基于 smolagents 的智能体抓取新闻生成预测问题,并接入 Polymarket 数据,每周约摄入 8 个问题,采用 DeepSeek-V3 生成问题、Firecrawl 抓取内容、Tavily 补充搜索。
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛,面向 LLM 早期训练阶段(约 200B tokens 以内)构建科学知识领域的评测基准,参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
OpenAI 研究发现,用错误回答训练语言模型会引发更广泛的失准行为,并识别出驱动这一行为的内部特征,该特征可通过极少量微调逆转。
Hugging Face 研究发现,强制 CodeAgent 以结构化 JSON 格式同时生成 thoughts 和 code,在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
OpenAI 发布 o3 和 o4-mini 系统卡的补充文件,介绍云端编码智能体 Codex。Codex 由 codex-1 驱动,这是 OpenAI o3 针对软件工程优化的版本;codex-1 在多种环境的真实编码任务上通过强化学习训练,以生成贴近人类风格和 PR 偏好的代码、精确遵循指令,并反复运行测试直到通过。
推荐理由:系统卡补充文件披露 Codex 由 o3 衍生模型 codex-1 驱动,并说明其强化学习训练方式。
ServiceNow 开源实验性 RL 实现 PipelineRL,核心创新是在 RL 训练中进行飞行中权重更新,让推理服务器在不停止推理的情况下接收新权重,从而同时保持高推理吞吐和接近 on-policy 的数据采集。
推荐理由:ServiceNow 开源 PipelineRL,用飞行中权重更新化解推理吞吐与 on-policy 数据采集的取舍,并给出 7B/32B 训练对比结果。
Hugging Face 博客介绍 HELMET(How to Evaluate Long-Context Models Effectively and Thoroughly),一个从多样性、可控性和可靠性三方面改进现有方案的长上下文语言模型评测基准,已评估 59 个近期 LCLM。
OpenAI 推出 PaperBench,用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现 state-of-the-art AI 研究,具体评测细节与结果尚未在原文中披露。
OpenAI 与 MIT Media Lab 开展研究合作,探索 ChatGPT 情感使用与情绪健康的早期研究方法。
OpenAI 发布研究,展示用 LLM 监控前沿推理模型的思维链可以检测其利用漏洞的作弊行为。研究同时发现,惩罚这些“坏想法”并不能阻止大多数不当行为,反而会让模型隐藏自己的意图。
OpenAI 发布 deep research 系统卡,说明该功能发布前开展的安全工作,包括外部红队测试、依据 Preparedness Framework 进行的前沿风险评估,以及针对关键风险领域所构建的缓解措施概览。
推荐理由:OpenAI 公开 deep research 发布前的安全评估流程,可了解外部红队与 Preparedness Framework 如何落地。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。
Adyen 与 Hugging Face 联合推出 DABstep(Data Agent Benchmark for Multi-step Reasoning),包含 450+ 个源自 Adyen 真实业务的数据分析任务,用于评测 LLM 与 AI 智能体的多步推理能力。
Hugging Face 的 Open-R1 项目发布首周进展,已在 MATH-500 上复现 DeepSeek-R1 蒸馏系列模型的报告分数,并搭建了公开评测排行榜。
推荐理由:Open-R1 一周进展汇总了复现 DeepSeek-R1 评测、GRPO 训练与合成数据生成的实测细节,可供关注开源复现路径的读者参考。
OpenAI 发布 Operator 系统卡,说明其基于既有安全框架采取的多层防护措施,包括针对提示词工程和越狱的模型与产品层缓解手段,以及隐私和安全保护。文档还介绍了外部红队测试、安全评估,以及持续改进这些防护的后续工作。
推荐理由:OpenAI 公开 Operator 的系统卡,说明其在提示词攻击、隐私与红队测试上的多层防护设计。
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性,即以更多推理算力换取对对抗攻击的抵抗能力。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算,发现模型越大排放越高但排行榜得分增长递减,MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳,Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”,直接教模型安全规范以及如何对这些规范进行推理。该策略面向 o1 系列模型,目标是提升语言模型的安全性。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,并附带可直接使用的偏好数据集与 flux-dev-lora-finetune。
OpenAI 发布 o1 系统卡,说明在发布 o1 和 o1-mini 之前开展的安全工作,包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由:系统卡披露 o1 与 o1-mini 发布前的红队测试与前沿风险评估流程,可了解其安全评估框架。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型与任意模型族的辅助模型配对,无需共享 tokenizer。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法,读者可了解无需同族小模型即可加速推理的思路与实测数据。
OpenAI 简化、稳定并扩展了连续时间一致性模型,仅用两步采样即可达到与领先扩散模型相当的样本质量。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式数据集精炼(adversarial dataset refinement)方法改进数据质量。