跳到正文
原文
Hugging Face Blog·· 2025-03-28AI 评分28

TGI 原生集成 Intel Gaudi,加速 LLM 推理

🚀 Accelerating LLM Inference with TGI on Intel Gaudi

AI 导读

Hugging Face 宣布将 Intel Gaudi 硬件支持直接合入 Text Generation Inference(TGI)主代码库(PR #3091),取代此前维护的独立 fork,基于 TGI 多后端架构支持 Gaudi1/2/3 全系列硬件。

来源:Hugging Face Blog · huggingface.co