跳到正文
原文
Hugging Face Blog·· 2026-04-29精选AI 评分60

Granite 4.1 LLM 是如何构建的:五阶段预训练、SFT 与多阶段 RL 全流程

Granite 4.1 LLMs: How They’re Built

AI 导读

IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

推荐理由

Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

来源:Hugging Face Blog · huggingface.co