Hugging Face Blog·· 2021-10-25AI 评分55
Hugging Face 用 10 亿句对训练句子嵌入模型的完整复盘
Train a Sentence Embedding Model with 1B Training Pairs
AI 导读
Hugging Face 社区周项目用 7 个 TPU v3-8、基于 JAX/Flax,以最多 10 亿句对训练出 20 个 Sentence Transformers 模型(含 Mini-LM、RoBERTa、DistilBERT、MPNet),在多个通用句子相似度评测上达到 SOTA,并发布 8 个专用数据集。
来源:Hugging Face Blog · huggingface.co