用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程,介绍如何用 🤗 Transformers 在任意多语言 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例,用约 8 小时训练数据微调 244M 参数的 Whisper small,最佳 WER 为 32.0%,相比预训练模型的 63.5% 提升 31.5 个百分点。
推荐理由:以 8 小时印地语数据微调 Whisper small 的完整流程,WER 从 63.5% 降至 32.0%,可复用的多语言 ASR 微调方法。