跳到正文
原文
Hugging Face Blog·· 2021-10-25AI 评分55

Hugging Face 用 10 亿句对训练句子嵌入模型的完整复盘

Train a Sentence Embedding Model with 1B Training Pairs

AI 导读

Hugging Face 社区周项目用 7 个 TPU v3-8、基于 JAX/Flax,以最多 10 亿句对训练出 20 个 Sentence Transformers 模型(含 Mini-LM、RoBERTa、DistilBERT、MPNet),在多个通用句子相似度评测上达到 SOTA,并发布 8 个专用数据集。

来源:Hugging Face Blog · huggingface.co