在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B

这篇 Hugging Face 教程讲解如何在 Google Cloud A3 节点（8 x H100）上，用 TGI 的 Deep Learning Containers 在 Vertex AI 上部署 Meta Llama 3.1 405B 的 FP8 量化版 Meta-Llama-3.1-405B-Instruct-FP8。