Hugging Face Blog·· 2024-12-18AI 评分59
IBM 联合高校发布混合 Mamba2 模型 Bamba-9B，vLLM 推理吞吐提升 2.5 倍
Bamba: Inference-Efficient Hybrid Mamba2 Model
AI 导读
IBM、Princeton、CMU 和 UIUC 发布基于完全开放数据训练的混合 Mamba2 模型 Bamba-9B，在 vLLM 中相比标准 transformer 实现最高 2.5 倍吞吐提升和 2 倍延迟加速。
来源：Hugging Face Blog · huggingface.co