跳到正文
原文
Hugging Face Blog·· 2025-07-25AI 评分34

Hugging Face 为 Parquet 引入内容定义分块(CDC)

Parquet Content-Defined Chunking

AI 导读

Hugging Face 在 PyArrow 和 Pandas 中上线 Parquet 内容定义分块(CDC)功能,配合 Xet 存储层实现 Parquet 文件去重,仅上传或下载发生变化的 chunk,从而降低数据传输与存储成本。

来源:Hugging Face Blog · huggingface.co