Mistral 发布 Mamba 架构编码模型 Codestral Mamba

Mistral AI 发布 Mamba 架构的 Codestral Mamba，在 Albert Gu 和 Tri Dao 协助下训练，具备线性时间推理和理论无限序列建模能力，已测试 256k token 的上下文检索，参数量 7,285,403,648。