Hugging Face Blog·· 2024-08-12精选AI 评分62
TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，模型以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由
TII 发布首个纯 Mamba 架构 7B 模型，给出与同规模 Transformer 的基准对比和长序列显存实测。
来源：Hugging Face Blog · huggingface.co