Google Research 科学家使用 Empirical Research Assistance 的四种方式
Google Research 介绍其 Empirical Research Assistance(ERA)在四个真实科研场景中的应用:公共卫生领域,团队每周向 CDC 的流感。
推荐理由:Google 用四个真实科研项目展示 ERA 在流行病预测、宇宙学、碳监测和神经科学中的落地方式,可了解 AI 辅助科研的具体边界。
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Google Research 介绍其 Empirical Research Assistance(ERA)在四个真实科研场景中的应用:公共卫生领域,团队每周向 CDC 的流感。
推荐理由:Google 用四个真实科研项目展示 ERA 在流行病预测、宇宙学、碳监测和神经科学中的落地方式,可了解 AI 辅助科研的具体边界。
IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。
推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。
推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。
Hugging Face 发布 TRL v1.0,将这一原本的研究代码库正式定位为带稳定性承诺的后训练库,目前实现超过 75 种后训练方法,月下载量 300 万次。
推荐理由:TRL v1.0 把稳定核心与实验层分开,并给出与同类后训练库的横向对比,便于判断选型。
NVIDIA 发布教程,介绍用单张 GPU 在一天内将通用嵌入模型微调为领域专用模型,无需人工标注。流程基于 NeMo Data Designer 生成合成问答数据、挖掘难负样本并微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据上 Recall@10 和 NDCG@10 提升超过 10%。
推荐理由:NVIDIA 给出从合成数据到部署的完整嵌入模型微调流程,并附 Atlassian 在 Jira 数据上的实测提升。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项姊妹研究,评估 AI 乳腺癌检测系统。
推荐理由:两项 Nature Cancer 研究给出 AI 在 NHS 乳腺筛查双读流程中的前瞻部署数据与人力节省估算。
Hugging Face 发布《State of Open Source on Hugging Face: Spring 2026》,基于平台数据梳理过去一年开源 AI 生态变化。
推荐理由:Hugging Face 官方基于平台数据梳理开源 AI 一年变化,可看到中美下载份额、小模型与机器人子社区的走向。
Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。
推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。
Google 宣布在 Flood Hub 上线城市山洪(Urban Flash Flood)预报,借助新的 AI 方法可在城市区域提前最多 24 小时预测山洪风险。
推荐理由:Google 把城市山洪预警从河流洪水扩展到 24 小时提前量,并给出与 NWS 同口径的精度对比,可看 AI 预警在缺测地区的落地边界。
Google 推出 Groundsource,一套用 Gemini 从非结构化新闻中提取历史灾害数据的方法,并发布首个开放数据集:覆盖 150 多个国家、2000 年至今的 260 万条城市山洪记录。
推荐理由:Google 用 Gemini 把 80 种语言的新闻报道转成结构化灾害数据,并给出人工核验的准确率,可据此判断这套方法能否迁移到其他数据稀缺领域。
Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。
推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。
Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。
推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。
Google Research 发布 WAXAL,一个面向撒哈拉以南非洲 27 种语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。其中 WAXAL-ASR 包含约 1,846 小时转写自然语音,WAXAL-TTS 包含超过 565 小时高保真录音,数据采集由非洲高校与社区组织主导,覆盖 100 多万使用者。该数据集旨在支持低资源语言的语音识别与合成系统开发,并计划持续扩充语言种类。
推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,读者可了解低资源语言语音数据的采集方法与规模。
Photoroom 在 Hugging Face 博客发布 PRX 系列第三篇,用 32 张 H200、约 1500 美元预算在 24 小时内训练出一个文生图扩散模型。
推荐理由:Photoroom 公开了 24 小时训练文生图模型的完整配方与代码,读者可据此复现并调整各组件。
Hugging Face 发文介绍 transformers 库为 Mixture of Experts(MoE)模型所做的工程改造,涵盖权重加载重构、专家后端与专家并行三部分。
推荐理由:Hugging Face 官方拆解 transformers 为 MoE 重构的加载、后端与并行方案,并给出 v4 与 v5 的实测对比。
微软 unilm 团队发布 Differential Transformer V2(DIFF V2),通过增加 query 头但保持 KV 头数量不变,使解码速度与标准 Transformer 持平,且不再需要自定义注意力核。
推荐理由:微软团队给出 DIFF V2 的注意力实现与消融对比,读者可据此判断差分注意力在解码速度与训练稳定性上的取舍。
Google Research 在 Science Advances 发表论文,介绍混合模型 NeuralGCM 直接以 NASA 2001 至 2018 年卫星降水观测训练其机器学习部分,而非依赖再分析数据。
推荐理由:NeuralGCM 改用卫星降水观测训练后,在 15 天预报和数十年气候模拟上均优于传统模型,可看混合建模路线的新进展。
Hugging Face 发布教程,展示如何让 OpenAI Codex 借助 Hugging Face Skills 仓库完成端到端机器学习实验:验证数据集格式、选择硬件、生成并更新训练脚本、提交 Hugging Face Jobs、监控 Trackio 指标、评估 checkpoint 并生成训练报告。
推荐理由:原文给出 Codex 结合 HF Skills 完成端到端微调的完整流程与成本区间,可据此判断能否把训练实验交给编码智能体。
Google Research 发布两篇论文,提出 Titans 架构与 MIRAS 理论框架,将 RNN 的速度与 Transformer 的精度结合,实现测试时记忆。
推荐理由:Google Research 提出 Titans 架构与 MIRAS 框架,用深度神经网络做长期记忆模块,在超长上下文任务上超过 GPT-4。
OpenAI 宣布收购 Neptune,以加深对模型行为的可见性,并强化研究人员用于追踪实验和监控训练的工具。
推荐理由:OpenAI 收购 Neptune 以增强模型行为可见性与训练监控工具,读者可据此了解其在训练基础设施上的布局。