Hugging Face Blog·· 2023-04-27精选AI 评分61
Hugging Face 教程：用 TensorFlow 和 TPU 从零训练 RoBERTa 语言模型
Training a language model with 🤗 Transformers using TensorFlow and TPUs
AI 导读
Hugging Face 发布端到端教程，演示用 TensorFlow 和 TPU 在 WikiText (v1) 数据集上从零训练 RoBERTa base 模型，涵盖训练 Unigram tokenizer、生成 TFRecord 分片上传 GCS、以及用 TPUStrategy 进行数据并行训练。
推荐理由
原文给出从 tokenizer 训练到 TPU 训练的完整流程与代码，读者可据此把 TensorFlow 训练管线迁移到 TPU。
来源：Hugging Face Blog · huggingface.co