跳到正文
原文
Hugging Face Blog·· 2022-01-13AI 评分24

案例研究:用 Hugging Face Infinity 与现代 CPU 实现毫秒级推理延迟

Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs

AI 导读

Hugging Face 介绍其容器化推理方案 Infinity 在 3rd Gen Intel Xeon(Ice Lake)EC2 C6i 实例上的端到端性能表现。

来源:Hugging Face Blog · huggingface.co