跳到正文
原文
Mistral AI·· 2026-01-22AI 评分49

Mistral AI 深度解析:vLLM 内存泄漏排查实录

Heaps do lie: debugging a memory leak in vLLM.

AI 导读

Mistral AI 团队分享了排查 vLLM 内存泄漏的过程,问题仅出现在 Mistral Medium 3.1 与 P/D 分离部署结合 NIXL、开启 graph compilation 的条件下,系统内存以每分钟 400 MB 的速度线性增长,数小时后触发 out of memory。

来源:Mistral AI · mistral.ai