Hugging Face Blog·· 2021-02-10AI 评分42
Hugging Face Transformers 的 RAG 模型如何用 Ray 加速分布式文档检索
Retrieval Augmented Generation with Huggingface Transformers and Ray
AI 导读
Anyscale 团队将 Ray 集成到 Hugging Face Transformers 的 RAG(Retrieval Augmented Generation)模型的文档检索机制中,相比原 torch.distributed 实现将每次检索调用提速 2x,并提升分布式微调的可扩展性。
来源:Hugging Face Blog · huggingface.co