TRL 引入 vLLM 同卡部署,GRPO 训练吞吐最高提升 1.73 倍
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。
推荐理由:TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。
推荐理由:TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。
Hugging Face 发布 SmolVLA,一个 450M 参数的开源视觉-语言-动作模型,可在消费级硬件上运行,仅用 lerobot 标签下的社区共享数据集预训练。
推荐理由:450M 的 VLA 模型仅用社区数据预训练就能在仿真和真机上超过更大模型,读者可据此判断开源机器人策略的可行路径。
Hugging Face 发布 Python 版 Tiny Agents,将 huggingface_hub 客户端 SDK 扩展为 MCP Client,可从 MCP 服务器拉取工具并在推理时传给 LLM,核心智能体代码约 70 行。
推荐理由:Hugging Face 把 MCP 客户端并入 huggingface_hub,读者可据此用约 70 行代码搭出可复用工具调用的智能体。
Mistral AI 与 All Hands AI 合作发布面向软件工程任务的智能体模型 Devstral,在 SWE-Bench Verified 上得分 46.8%,比此前开源 SoTA 模型高出 6 个百分点以上,并以 Apache 2.0 许可开源。
推荐理由:官方给出 Devstral 在 SWE-Bench Verified 的分数与开源许可、部署门槛,读者可据此判断它能否替代现有编码智能体方案。
Falcon-H1 系列发布六个开源模型,参数从 0.5B 到 34B,每个尺寸都有 base 和 instruct 版本,采用 Apache 2.0 许可。模型在混合 mixer 块中并行组合注意力与 Mamba-2 头,支持 256K 上下文和 18 种语言,官方称 0.5B 版本性能接近 2024 年的典型 7B 模型。
推荐理由:Falcon-H1 用注意力与 SSM 并行混合架构,在 0.5B 到 34B 六个尺寸上给出效率与长上下文表现,可据此判断小模型部署的取舍。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型(VLM)的轻量工具包,可在免费 Colab 上启动训练,灵感来自 nanoGPT。
推荐理由:Hugging Face 开源 nanoVLM,用纯 PyTorch 和可读代码把 VLM 训练流程拆解到可复现,适合想理解多模态对齐细节的读者。
Falcon-Edge 系列发布,基于 BitNet 架构,提供 1B 和 3B 两种参数规模,每种都有 base 和指令微调版本,权重以三元格式({-1, 0, 1})存储。
推荐理由:Falcon-Edge 用单次预训练同时产出 bfloat16 与三元量化版本,读者可据此了解 1.58bit 模型在端侧部署与微调上的新路径。
Hugging Face 在博客中表示,未来目标是让 Transformers 成为跨框架的枢纽,模型架构只要被 Transformers 支持,就能在生态其他工具中获得支持。
推荐理由:Hugging Face 官方说明 Transformers 将作为跨框架的模型定义中枢,读者可据此判断模型接入与部署链路的变化。
Gradio 官方发布指南,介绍如何用几行 Python 把 Gradio 应用启动为 MCP Server,让 LLM 以工具形式调用其中的函数。只需在 launch() 中设置 mcp_server=True,函数 docstring 会自动生成工具描述与参数,MCP 端点位于 /gradio_api/mcp/sse,可配置到 Cursor、Cline 等 MCP 客户端。
推荐理由:Gradio 官方给出把任意 Python 函数变成 MCP 工具的最短路径,并列出资源、提示词与鉴权等新增能力。
Meta 发布 Llama Guard 4,一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型,可评估纯文本和图文输入,覆盖 MLCommons 定义的 14 类危害及代码解释器滥用,可在单张 24GB 显存 GPU 上运行。
推荐理由:Meta 发布 12B 多模态安全模型与两款提示注入分类器,并给出可直接运行的 transformers 示例。
ServiceNow 开源实验性 RL 实现 PipelineRL,核心创新是在 RL 训练中进行飞行中权重更新,让推理服务器在不停止推理的情况下接收新权重,从而同时保持高推理吞吐和接近 on-policy 的数据采集。
推荐理由:ServiceNow 开源 PipelineRL,用飞行中权重更新化解推理吞吐与 on-policy 数据采集的取舍,并给出 7B/32B 训练对比结果。
Hugging Face 发布 Tiny Agents 教程,用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端与智能体,核心逻辑是工具调用加一个 while 循环。
推荐理由:作者以 Hugging Face 官方 SDK 为例,展示 MCP 客户端加一个 while 循环即可构成智能体,可迁移到自己的工具链。
Hugging Face 宣布收购成立 9 年的开源机器人公司 Pollen Robotics,这是其第五次收购,此前曾收购 Gradio 和 XetHub。
推荐理由:Hugging Face 收购 Pollen Robotics 并开卖 Reachy 2,读者可了解开源机器人从代码库走向硬件销售的变化。
Meta 发布 Llama 4 Maverick(约 400B 总参数)和 Llama 4 Scout(约 109B 总参数)两款 MoE 模型,均为 17B 激活参数,原生支持文本与图像输入,已在 Hugging Face Hub 上线。
推荐理由:文章给出 Llama 4 两款 MoE 模型的参数、上下文长度与架构细节,便于判断其部署门槛与长上下文能力。
DeepSeek-V3 0324 本周上线 Hugging Face Hub,架构与初代 DeepSeek-V3 相同,但许可从自定义协议改为 MIT,改进重点是指令遵循、代码与数学能力。
推荐理由:梳理了 DeepSeek-V3 0324 的基准提升与 MIT 许可变化,并给出多种本地部署与量化运行方式。
NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果:世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型,读者可据此了解物理 AI 开发可用的工具链。
Hugging Face 的 Xet 团队已将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储,2 月 20 日当天共迁移 4.5 TB,约 6% 的 Hub 下载流量转到 Xet 基础设施。
推荐理由:Hugging Face 官方复盘 Xet 存储首次迁移,给出分块去重带来的传输收益与两个生产环境问题的修复过程。
Mistral AI 发布 Mistral Small 3.1,在 Mistral Small 3 基础上提升文本性能与多模态理解,上下文窗口扩展至 128k tokens,推理速度达 150 tokens/秒,并以 Apache 2.0 许可开源。
推荐理由:官方给出 Mistral Small 3.1 的多模态、128k 上下文与单卡可跑规格,便于判断小模型端侧部署的取舍。
Google 发布 Gemma 系列新模型 Gemma 3,提供 1B、4B、12B、27B 四种尺寸,含预训练与指令微调版本。其中 4B、12B、27B 支持图像与文本输入,上下文窗口达 128k,支持 140 多种语言,1B 版本仅支持文本、上下文 32k。
推荐理由:梳理 Gemma 3 的四种尺寸、多模态与 128k 上下文等规格,并给出 transformers 与端侧推理的可用入口。
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型,基于 Qwen2.5 Coder Instruct 微调,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由:Open R1 复现 R1 代码推理配方,给出数据集、IOI 基准与两个开源模型,并附训练经验。