Hugging Face Blog·· 2020-02-14精选AI 评分62
如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
How to train a new language model from scratch using Transformers and Tokenizers
AI 导读
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个语言模型，并以世界语为例训练了 84M 参数（6 层、768 隐藏维度、12 注意力头）的 EsperBERTo。
推荐理由
以世界语为例完整演示从语料、分词器到预训练与下游微调的全流程，可迁移到其他低资源语言。
来源：Hugging Face Blog · huggingface.co