Hugging Face 详解 Parquet 内容定义分块（CDC）如何配合 Xet 存储层降低数据传输量

Hugging Face 宣布 Parquet 内容定义分块（CDC）已在 PyArrow 和 Pandas 中可用，通过 use_content_defined_chunking=True 参数启用，可与其 Xet 存储层配合仅传输变化的数据块。