Hugging Face 如何用内容定义分块提升存储效率

Hugging Face 的 Xet 团队提出用内容定义分块（CDC）替代 Git LFS 的文件级存储，只传输和保存被修改的 chunk。在 CORD-19 数据集基准中，Xet 方案平均下载时间从 51 分钟降至 19 分钟，上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。