Hugging Face LLM Inference Container 登陆 Amazon SageMaker

Hugging Face 推出基于 Text Generation Inference（TGI）的 LLM Inference Container，用于在 Amazon SageMaker 上部署开源大模型，示例将 Open Assistant 12B（Pythia）部署到 ml.g5.12xlarge 实例（4 张 NVIDIA A10G、96GB GPU 显存）。