Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。
推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。
推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。
Hugging Face 发布 QIMMA قِمّة,一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜,整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Google Research 发布论文《Reasoning-Driven Synthetic Data Generation and Evaluation》,提出合成数据生成框架 Simula,把数据生成重构为机制设计问题,用推理模型从第一性原理构建整个数据集,无需种子数据。
Google Research 提出 MoGen(Neuronal Morphology Generation),用 PointInfinity 点云流匹配模型生成合成神经元形状,为 PATHFINDER 重建模型补充训练数据,使小鼠轴突重建误差降低 4.4%,主要来自合并错误的减少。
Hugging Face 将 RLVE 框架从单轮推理题扩展到多轮、工具增强的电商对话,推出 EcomRLVE-GYM,包含产品发现、替代品、购物车搭建、退货、订单追踪、政策问答、组合规划、多意图旅程 8 个可验证环境,每个环境配备程序化题目生成、12 轴难度课程和算法可验证奖励。
OpenAI 介绍如何用 ChatGPT 探索数据集、生成洞察、创建可视化,并将发现转化为可执行的决策。
Google Research 推出 ConvApparel,一个包含 4000 多段人机多轮对话(近 15000 轮)的服饰购物领域数据集,用于量化 LLM 用户模拟器与真实人类行为的真实感差距。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的每条目 1-5 名标注者往往不足,反映人类意见分歧常需超过 10 名标注者。
OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线,其中 CodonRoBERTa-large-v2 以困惑度 4.10、Spearman CAI 相关性 0.40 明显优于 ModernBERT。团队随后扩展到 25 个物种,用 55 GPU-hours 训练出 4 个生产模型,并搭建了目前其他开源项目未提供的物种条件化系统。
Hugging Face 发布 TRL v1.0,将这一原本的研究代码库正式定位为带稳定性承诺的后训练库,目前实现超过 75 种后训练方法,月下载量 300 万次。
推荐理由:TRL v1.0 把稳定核心与实验层分开,并给出与同类后训练库的横向对比,便于判断选型。
Google Research 发布自监督框架 S2Vec,可将建筑、道路等地理要素栅格化为多层特征图像,再通过掩码自编码(MAE)学习通用嵌入向量,无需人工标注即可刻画街区特征。
NVIDIA 发布教程,介绍用单张 GPU 在一天内将通用嵌入模型微调为领域专用模型,无需人工标注。流程基于 NeMo Data Designer 生成合成问答数据、挖掘难负样本并微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据上 Recall@10 和 NDCG@10 提升超过 10%。
推荐理由:NVIDIA 给出从合成数据到部署的完整嵌入模型微调流程,并附 Atlassian 在 Jira 数据上的实测提升。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项姊妹研究,评估 AI 乳腺癌检测系统。
推荐理由:两项 Nature Cancer 研究给出 AI 在 NHS 乳腺筛查双读流程中的前瞻部署数据与人力节省估算。
Hugging Face 发布《State of Open Source on Hugging Face: Spring 2026》,基于平台数据梳理过去一年开源 AI 生态变化。
推荐理由:Hugging Face 官方基于平台数据梳理开源 AI 一年变化,可看到中美下载份额、小模型与机器人子社区的走向。
Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。
推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。
Mistral AI 以创始成员身份加入 NVIDIA Nemotron Coalition,与 NVIDIA 共同开发前沿开源 AI 模型,并同期发布 Mistral Small 4。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约 10 倍更少的消融达到 SPEX 的性能。
Google 宣布在 Flood Hub 上线城市山洪(Urban Flash Flood)预报,借助新的 AI 方法可在城市区域提前最多 24 小时预测山洪风险。
推荐理由:Google 把城市山洪预警从河流洪水扩展到 24 小时提前量,并给出与 NWS 同口径的精度对比,可看 AI 预警在缺测地区的落地边界。
Google 推出 Groundsource,一套用 Gemini 从非结构化新闻中提取历史灾害数据的方法,并发布首个开放数据集:覆盖 150 多个国家、2000 年至今的 260 万条城市山洪记录。
推荐理由:Google 用 Gemini 把 80 种语言的新闻报道转成结构化灾害数据,并给出人工核验的准确率,可据此判断这套方法能否迁移到其他数据稀缺领域。
Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。
推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。
AlphaGo 成为首个击败围棋世界冠军的 AI 系统十周年,其“Move 37”展示了 AI 超越模仿人类、发现全新策略的能力。这一突破直接催生了 AlphaGo Zero、AlphaZero,以及破解蛋白质折叠难题的 AlphaFold 2,后者已向全球 3 百万研究人员免费开放 2 亿个蛋白质结构。
Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。
推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。
Google Research 发布 WAXAL,一个面向撒哈拉以南非洲 27 种语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。其中 WAXAL-ASR 包含约 1,846 小时转写自然语音,WAXAL-TTS 包含超过 565 小时高保真录音,数据采集由非洲高校与社区组织主导,覆盖 100 多万使用者。该数据集旨在支持低资源语言的语音识别与合成系统开发,并计划持续扩充语言种类。
推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,读者可了解低资源语言语音数据的采集方法与规模。
Google Research 提出"贝叶斯教学"方法,通过监督微调让 LLM 模仿贝叶斯模型的预测,从而学会按贝叶斯方式推理。在五轮模拟航班推荐任务中,未经训练的 LLM 表现显著逊于最优贝叶斯助手,且往往在单次交互后性能就停滞;而贝叶斯教学不仅提升该任务表现,还能泛化到其他任务。
Photoroom 在 Hugging Face 博客发布 PRX 系列第三篇,用 32 张 H200、约 1500 美元预算在 24 小时内训练出一个文生图扩散模型。
推荐理由:Photoroom 公开了 24 小时训练文生图模型的完整配方与代码,读者可据此复现并调整各组件。
Hugging Face 发文介绍 transformers 库为 Mixture of Experts(MoE)模型所做的工程改造,涵盖权重加载重构、专家后端与专家并行三部分。
推荐理由:Hugging Face 官方拆解 transformers 为 MoE 重构的加载、后端与并行方案,并给出 v4 与 v5 的实测对比。
Google Research 提出 MapTrace,一套用 Gemini 2.5 Pro 与 Imagen-4 自动生成地图寻路数据的合成流水线,并开源 200 万条问答对。
Google DeepMind 宣布与印度政府机构及本地机构建立 National Partnerships for AI 合作,向印度研究人员开放 AlphaGenome、AI Co-scientist 和 Earth AI 等前沿科学模型,并推出 3000 万美元的 Google.org Impact Challenge: AI for Science。
OpenAI 推出开源工具包 GABRIEL,借助 GPT 把定性文本和图像转化为定量数据,帮助社会科学家大规模分析研究。该工具面向社会科学研究场景,可扩展处理原本难以量化的文本与图像材料。
Google DeepMind 于 2025 年 8 月发布的 Perch 2.0 生物声学基础模型,虽仅用鸟类等陆生动物音频训练,却在鲸类发声分类等海洋任务中表现优异,多数数据集和样本量下位列第一或第二。
Hugging Face 发布 SyGra 2.0.0 的 Studio,一个把合成数据生成变成可视化流程的交互环境,画布上搭建的流程会自动生成 SyGra 兼容的图配置与任务执行脚本。
Google Research 提出 Sequential Attention,用贪心选择机制在单次训练中顺序、自适应地挑选最佳组件加入模型,避免传统贪心算法带来的数量级训练开销。该方法把子集选择直接嵌入模型训练,可处理大规模 ML 模型,并在多个神经网络基准上取得 SOTA,同时支持特征选择、嵌入维度调整与权重剪枝。
Hugging Face 发布系列第二篇博客,记录从零训练文生图基础模型 PRX 的训练设计经验,围绕表征对齐、训练目标、Token 路由与稀疏化、数据四类方法做消融实验。
OpenAI 构建了一个内部 AI 数据智能体,结合 GPT-5、Codex 和记忆能力对海量数据集进行推理,可在数分钟内给出可靠洞察。该智能体用于公司内部数据分析场景,核心在于用记忆机制支撑跨数据集的推理过程。
Google Research 提出 ATLAS 多语言缩放定律,基于 774 次训练运行、10M–8B 参数模型、400+ 语言数据,可指导模型规模、数据量与语言配比的选择。
中国开源模型近一年几乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均属此类,目标是在成本可控下实现可持续部署。开源活动从文本扩展到多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
Hugging Face 博客介绍阿联酋方言评测基准 Alyah,含 1,173 条由阿联酋母语者手工采集的样本,每题四选一。团队评测了 54 个语言模型(23 个基座、31 个指令微调),覆盖 Jais、Allam、Qwen、LLaMA、Fanar、AceGPT 等,基座模型中 google/gemma-3-27b-pt 以 74.68 准确率居首。
OpenAI 发布免费 LaTeX 原生工作空间 Prism,内置 GPT-5.2,帮助研究人员在同一处完成写作、协作与推理。
Google Research 在 NeurIPS 2025 提出 GIST(Greedy Independent Set Thresholding)算法,用于训练数据子集选择,在多样性与效用之间取得平衡。GIST 在图像分类等基准任务上超越 SOTA,并首次为该权衡提供可证明的近似保证:所选子集价值至少为最优解的一半。
微软 unilm 团队发布 Differential Transformer V2(DIFF V2),通过增加 query 头但保持 KV 头数量不变,使解码速度与标准 Transformer 持平,且不再需要自定义注意力核。
推荐理由:微软团队给出 DIFF V2 的注意力实现与消融对比,读者可据此判断差分注意力在解码速度与训练稳定性上的取舍。