Hugging Face Blog·· 2025-10-27精选AI 评分71
Hugging Face datasets 流式加载优化:请求数减少最多 100 倍,速度提升 2 倍
Streaming datasets: 100x More Efficient
AI 导读
Hugging Face 发布 datasets 与 huggingface_hub 库的流式加载优化,一行 streaming=True 即可免下载训练多 TB 数据集。
推荐理由
官方给出 streaming 后端的具体优化指标和可复现代码,适合据此评估是否直接用流式替代本地下载来训练大规模数据集。
来源:Hugging Face Blog · huggingface.co