Transformers v5 重构分词器：架构与训练词表分离、单文件单后端

Hugging Face 博客详解 Transformers v5 对分词器的重新设计：将分词器架构（normalizer、pre-tokenizer、算法类型、post-processor、decoder）与训练好的词表和 merges 分离，类似 PyTorch 分离模型结构与权重。