跳到正文
原文
Hugging Face Blog·· 2025-10-27精选AI 评分71

Hugging Face datasets 流式加载优化:请求数减少最多 100 倍,速度提升 2 倍

Streaming datasets: 100x More Efficient

AI 导读

Hugging Face 发布 datasets 与 huggingface_hub 库的流式加载优化,一行 streaming=True 即可免下载训练多 TB 数据集。

推荐理由

官方给出 streaming 后端的具体优化指标和可复现代码,适合据此评估是否直接用流式替代本地下载来训练大规模数据集。

来源:Hugging Face Blog · huggingface.co