Hugging Face Blog·· 2024-02-01AI 评分36
Hugging Face Text Generation Inference 正式支持 AWS Inferentia2
Hugging Face Text Generation Inference available for AWS Inferentia2
AI 导读
Hugging Face 宣布 Text Generation Inference（TGI）在 AWS Inferentia2 和 Amazon SageMaker 上正式可用，用于大规模部署和提供 LLM 生产级服务。
来源：Hugging Face Blog · huggingface.co