Hugging Face Blog·· 2024-05-29AI 评分42
Hugging Face TGI Benchmarking 工具：如何对 LLM 推理部署做吞吐与延迟基准测试
Benchmarking Text Generation Inference
AI 导读
Hugging Face 介绍其 Text Generation Inference（TGI）附带的 TGI Benchmarking 工具，用于在吞吐之外同时测量延迟（含 TTFT），帮助用户根据场景权衡调优 LLM 部署。
来源：Hugging Face Blog · huggingface.co