Hugging Face Blog·· 2024-11-20AI 评分39
Hugging Face Xet 团队用内容定义分块（CDC）改进 Hub 存储效率
From Files to Chunks: Improving HF Storage Efficiency
AI 导读
Hugging Face 的 Xet 团队正用内容定义分块（CDC）替代 Git LFS 的文件级存储，只传输和保存修改过的 chunk，以提升 Hub 上 30 PB 模型、数据集与空间的存储效率。
来源：Hugging Face Blog · huggingface.co