跳到正文
原文
Hugging Face Blog·· 2024-12-18AI 评分55

IBM 联合高校发布混合 Mamba2 模型 Bamba-9B

Bamba: Inference-Efficient Hybrid Mamba2 Model

AI 导读

IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B,一个基于完全开放数据训练的混合 Mamba2 模型,在 vLLM 中相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速。

来源:Hugging Face Blog · huggingface.co