Hugging Face Blog·· 2025-02-12精选AI 评分62
Hugging Face 详解 Xet 存储：从分块到块聚合加速 Hub 上传下载
From Chunks to Blocks: Accelerating Uploads and Downloads on the Hub
AI 导读
Hugging Face 的 Xet 团队介绍其基于内容定义分块（CDC）的存储方案，通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射，把 CAS 条目减少约 1000 倍，部分场景上传下载提速 2-3 倍。
推荐理由
Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输，读者可了解大文件上传下载提速的实现思路。
来源：Hugging Face Blog · huggingface.co