Hugging Face Blog·· 11 天前精选AI 评分71
Hugging Face 发布 tokenizers v1 候选版，编码速度较 v0.23 提升至 3 到 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 的 release candidate，在 Apple M4 Max 单线程上编码速度比 v0.23 快 3 到 30 倍（低端 t5-base，高端 gpt2），八线程扩展达线性的 76%。
推荐理由
Hugging Face 官方实测数据说明 tokenizers v1 为何能比 v0.23 快 3 到 30 倍，读者可以借此判断升级对训练和推理工作流的影响。
来源：Hugging Face Blog · huggingface.co