为什么我们把模型从 AWS ECS 迁移到 Hugging Face Inference Endpoints

作者团队将原本跑在 AWS ECS + Fargate 上的 CPU 推理模型迁移到 Hugging Face Inference Endpoints，流程从七步简化为三步。实测中 RoBERTa 文本分类模型在 large 端点延迟约 80ms，比自建容器快一倍以上；成本增加 24% 到 50%（大型实例约每月多 $60），但省去了 API 和容器维护的时间成本。