Hugging Face Blog·· 2023-04-27AI 评分34
用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型
Training a language model with 🤗 Transformers using TensorFlow and TPUs
AI 导读
Hugging Face 发布教程,演示如何用 🤗 Transformers 结合 TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型,涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage,再到最终模型训练的完整流程。
来源:Hugging Face Blog · huggingface.co