Transformers v5 重构 Tokenization：更简单、更清晰、更模块化

Hugging Face 发布 Transformers v5，将 tokenizer 架构与训练词表分离，类似 PyTorch 把网络结构与权重分开，使 tokenizer 可检查、可定制、可从零训练。v5 提供清晰的类层级与单一快速后端，并保留 AutoTokenizer 自动选择正确 tokenizer 类的能力。