Hugging Face Blog·· 2024-10-05AI 评分40
Hugging Face Hub 改进 Parquet 数据去重存储
Improving Parquet Dedupe on Hugging Face Hub
AI 导读
Hugging Face Xet 团队研究提升 Hub 上 Parquet 文件的存储去重效率，目前 Hub 上 Parquet 文件占用超过 2.2PB 存储。
来源：Hugging Face Blog · huggingface.co
Improving Parquet Dedupe on Hugging Face Hub
Hugging Face Xet 团队研究提升 Hub 上 Parquet 文件的存储去重效率，目前 Hub 上 Parquet 文件占用超过 2.2PB 存储。
来源：Hugging Face Blog · huggingface.co