Hugging Face Blog·· 2025-10-27精选AI 评分62
Hugging Face 改进 datasets 流式加载,请求量减少 100 倍
Streaming datasets: 100x More Efficient
AI 导读
Hugging Face 改进 datasets 库的流式加载,load_dataset(streaming=True) 接口保持不变,数据文件解析快 10 倍、启动请求最多减少 100 倍、流式速度最多提升 2 倍。
推荐理由
官方给出流式加载的请求、解析与吞吐改进数据,读者可据此判断大规模训练的数据管线成本。
来源:Hugging Face Blog · huggingface.co