Hugging Face Blog·· 2024-08-12精选AI 评分61
TII 发布首个无注意力 7B 强模型 Falcon Mamba
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
阿布扎比 TII 基于 Mamba 架构发布开源模型 Falcon Mamba 7B，采用 TII Falcon Mamba 7B License 1.0，称在 LLM Leaderboard 两版基准上平均分领先多数同类 Transformer 与 SSM 模型。
推荐理由
原文给出架构设计、训练数据和两版评测基准数字，读者可据此判断无注意力 7B 模型与主流 Transformer 的差距。
来源：Hugging Face Blog · huggingface.co