Hugging Face Blog·· 2025-01-16AI 评分50
Hugging Face Text Generation Inference 推出多后端架构，将支持 TRT-LLM、vLLM、llama.cpp
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference
AI 导读
Hugging Face 为 Text Generation Inference（TGI）引入 TGI Backends 多后端架构，通过新的 Rust Backend trait 让 TGI 作为统一前端接入不同推理引擎。
来源：Hugging Face Blog · huggingface.co