Hugging Face Blog·· 2022-01-11AI 评分40
使用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理
Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker
AI 导读
本教程讲解如何用 Hugging Face Transformers 与 Amazon SageMaker 部署 EleutherAI 的开源 60 亿参数模型 GPT-J 6B，在约 $500/月的 NVIDIA T4 GPU 实例上实现实时推理。
来源：Hugging Face Blog · huggingface.co