Hugging Face Blog·· 2025-05-21精选AI 评分62
Falcon-H1 发布：0.5B 到 34B 的混合注意力 SSM 模型家族
Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance
AI 导读
Falcon-H1 系列发布六个开源模型，参数从 0.5B 到 34B，每个尺寸都有 base 和 instruct 版本，采用 Apache 2.0 许可。模型在混合 mixer 块中并行组合注意力与 Mamba-2 头，支持 256K 上下文和 18 种语言，官方称 0.5B 版本性能接近 2024 年的典型 7B 模型。
推荐理由
Falcon-H1 用注意力与 SSM 并行混合架构，在 0.5B 到 34B 六个尺寸上给出效率与长上下文表现，可据此判断小模型部署的取舍。
来源：Hugging Face Blog · huggingface.co