跳到正文
原文
Hugging Face Blog·· 2024-11-26AI 评分34

Hugging Face 重新设计 Hub 上传与下载架构

Rearchitecting Hugging Face Uploads and Downloads

AI 导读

Hugging Face 正在重新设计 Hub 的上传与下载架构,引入内容寻址存储(CAS)和自定义传输协议,采用“简单读取、智能写入”的思路,在字节层面分析文件以加速传输。新方案中读取仍由 S3 和 CloudFront 支撑,写入则通过 CAS 按 chunk 校验并只传输新增部分,压缩 tensor 文件(如 Safetensors)有望将上传速度提升 10-25%。

来源:Hugging Face Blog · huggingface.co