Hugging Face 与 AMD 合作为 MI300X 打造自定义 kernel

Hugging Face 与 AMD 合作，为在 8 张 MI300X 节点上用 VLLM 以 FP8 部署 Llama 3.1 405B 优化 kernel，包含融合残差连接、RMS norm 与 FP8 转换、融合 SwiGLU 与 FP8 转换、skinny GEMM 三个优化 kernel，显著降低解码延迟。