Hugging Face 发布 Transformers v5:以简洁模型定义支撑 AI 生态
Hugging Face 发布 Transformers v5.0.0rc-0,距 v4 首个候选版已五年,如今该库每天通过 pip 安装超过 300 万次,累计安装量突破 12 亿次。
推荐理由:Hugging Face 官方梳理 v5 在模型定义、训练、推理与量化上的取舍,可据此判断生态工具链的兼容方向。
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Hugging Face 发布 Transformers v5.0.0rc-0,距 v4 首个候选版已五年,如今该库每天通过 pip 安装超过 300 万次,累计安装量突破 12 亿次。
推荐理由:Hugging Face 官方梳理 v5 在模型定义、训练、推理与量化上的取舍,可据此判断生态工具链的兼容方向。
Hugging Face TRL 正式集成 RapidFire AI,用户可用 RFSFTConfig、RFDPOConfig、RFGRPOConfig 近乎零代码替换原有 SFT/DPO/GRPO 配置,在单张 GPU 上并发运行多组微调配置。
推荐理由:官方集成给出了并发调度机制与实测加速数据,读者可据此判断微调实验流程能压缩多少时间。
Google DeepMind 与 Google Research 发布天气预报模型 WeatherNext 2,称其生成预报速度提升 8 倍,分辨率最高可达 1 小时。
推荐理由:原文给出 WeatherNext 2 的生成速度、分辨率与可用入口,读者可据此判断 AI 天气预报的落地方式。
Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。
推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。
Hugging Face 改进 datasets 库的流式加载,load_dataset(streaming=True) 接口保持不变,数据文件解析快 10 倍、启动请求最多减少 100 倍、流式速度最多提升 2 倍。
推荐理由:官方给出流式加载的请求、解析与吞吐改进数据,读者可据此判断大规模训练的数据管线成本。
Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle notebook 经去重、教育质量打分、QA 与轨迹生成后得到 51k 合成 notebook、近 0.2B token 的数据集,微调 Qwen3-4B。
推荐理由:完整披露了从 Kaggle notebook 清洗到 SFT 的数据管线与脚手架改动,可迁移到其他小模型智能体训练。
NVIDIA 发布 Nemotron Post-Training Dataset V2,将英文推理数据翻译为法语、德语、意大利语、日语和西班牙语,共 600 万条多语言样本,数据集已在 Hugging Face 开放。
推荐理由:NVIDIA 公开了多语言推理数据集的构建与过滤细节,并给出配套 9B 模型的端侧部署参数。
Hugging Face 发布开源无代码工具 AI Sheets,可在表格界面中通过写提示词新建列,用 AI 模型构建、转换和丰富数据集,支持本地部署或部署到 Hub。
推荐理由:Hugging Face 官方开源的无代码数据集工具,展示了用提示词列批量调用开放模型的具体工作流。
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。
推荐理由:TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。
Falcon-Edge 系列发布,基于 BitNet 架构,提供 1B 和 3B 两种参数规模,每种都有 base 和指令微调版本,权重以三元格式({-1, 0, 1})存储。
推荐理由:Falcon-Edge 用单次预训练同时产出 bfloat16 与三元量化版本,读者可据此了解 1.58bit 模型在端侧部署与微调上的新路径。
ServiceNow 开源实验性 RL 实现 PipelineRL,核心创新是在 RL 训练中进行飞行中权重更新,让推理服务器在不停止推理的情况下接收新权重,从而同时保持高推理吞吐和接近 on-policy 的数据采集。
推荐理由:ServiceNow 开源 PipelineRL,用飞行中权重更新化解推理吞吐与 on-policy 数据采集的取舍,并给出 7B/32B 训练对比结果。
NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果:世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型,读者可据此了解物理 AI 开发可用的工具链。
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D(Learning to Drive),称其为全球最大的开源自动驾驶数据集,包含 90+ TB 多模态数据、5000+ 小时驾驶记录,来自德国 30 座城市的 60 辆驾校车辆。
推荐理由:L2D 以 90TB 多模态驾驶数据和 LeRobot 训练管线开放,读者可据此判断端到端自动驾驶数据集的规模与可用性。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。
Hugging Face 的 Open-R1 项目发布首周进展,已在 MATH-500 上复现 DeepSeek-R1 蒸馏系列模型的报告分数,并搭建了公开评测排行榜。
推荐理由:Open-R1 一周进展汇总了复现 DeepSeek-R1 评测、GRPO 训练与合成数据生成的实测细节,可供关注开源复现路径的读者参考。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
Hugging Face 发布方法,用 Sentence Transformers 训练静态嵌入模型,在 CPU 上比主流嵌入模型快 100 到 400 倍,同时保留大部分质量。
推荐理由:原文公开了静态嵌入模型的完整训练配方与两个已发布模型,读者可据此在 CPU 上复现高效嵌入方案。
Hugging Face 发布教程,介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由:文章用 PyTorch 内存快照拆解训练各阶段显存占用,并给出可复用的显存估算公式。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型,参数规模均在 100 亿以下。
推荐理由:Falcon3 系列覆盖 1B 到 10B 五款开源模型,给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
OpenAI 发布 o1 模型,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者,涵盖模型与工具两方面。
推荐理由:OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新,可据此了解其开发者侧能力布局。