Hugging Face Blog·· 2021-07-15精选AI 评分61
Hugging Face 发布 DeDLOC 协作训练方法并用 40 名志愿者预训练 sahajBERT
Deep Learning over the Internet: Training Language Models Collaboratively
AI 导读
Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 分布式协作训练方法，可自适应参与者的网络与硬件条件。该方法由 40 名志愿者协同预训练了孟加拉语模型 sahajBERT（约 18M 参数，基于 ALBERT），在 NER 上 F1 达 95.45、NCC 准确率 91.97，结果与数百块 V100 训练的 XLM-R-large 相当。
推荐理由
原文给出 DeDLOC 协作训练方法细节和 40 名志愿者预训练 sahajBERT 的实测结果，含下游任务对比数据，方法可复用。
来源：Hugging Face Blog · huggingface.co