跳到正文
原文
Hugging Face Blog·· 2021-02-10AI 评分42

Hugging Face Transformers 的 RAG 模型如何用 Ray 加速分布式文档检索

Retrieval Augmented Generation with Huggingface Transformers and Ray

AI 导读

Anyscale 团队将 Ray 集成到 Hugging Face Transformers 的 RAG(Retrieval Augmented Generation)模型的文档检索机制中,相比原 torch.distributed 实现将每次检索调用提速 2x,并提升分布式微调的可扩展性。

来源:Hugging Face Blog · huggingface.co