Hugging Face 详解 Xet 存储:从分块到块聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队介绍其基于内容定义分块(CDC)的存储方案,通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射,把 CAS 条目减少约 1000 倍,部分场景上传下载提速 2-3 倍。
推荐理由:Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输,读者可了解大文件上传下载提速的实现思路。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
Hugging Face 的 Xet 团队介绍其基于内容定义分块(CDC)的存储方案,通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射,把 CAS 条目减少约 1000 倍,部分场景上传下载提速 2-3 倍。
推荐理由:Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输,读者可了解大文件上传下载提速的实现思路。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。
Hugging Face 在 24 小时复现冲刺中开源了 DeepResearch 框架,用 smolagents 的 CodeAgent 在 GAIA 验证集上达到 55.15%,超过此前开源框架 Magentic-One 的约 46%。
推荐理由:原文给出开源复现 DeepResearch 的完整方法,读者可据此了解代码智能体在 GAIA 上的表现差异。
Hugging Face 将 Physical Intelligence 开发的 π0 和 π0-FAST 两个机器人基础模型移植到 LeRobot 仓库,并给出 PyTorch 版本与模型合集。
推荐理由:原文给出两个 VLA 模型在 LeRobot 的移植细节与 FAST 分词原理,读者可据此判断机器人基础模型的落地路径。
Hugging Face 的 Open-R1 项目发布首周进展,已在 MATH-500 上复现 DeepSeek-R1 蒸馏系列模型的报告分数,并搭建了公开评测排行榜。
推荐理由:Open-R1 一周进展汇总了复现 DeepSeek-R1 评测、GRPO 训练与合成数据生成的实测细节,可供关注开源复现路径的读者参考。
作者用 GRPO 和 Countdown Game 训练 Qwen2.5-3B-Instruct,在 4x H100 上复现 DeepSeek R1 的 aha moment,450 步后解题成功率约 50%。
推荐理由:完整复现流程与训练观察,读者可据此理解 GRPO 如何让模型自发形成推理格式。
Hugging Face 在 Hub 的模型页上线 Inference Providers,首批接入 fal、Replicate、SambaNova 和 Together AI 四家无服务器推理服务,并集成到 JS 与 Python 客户端 SDK。
推荐理由:Hugging Face 把四家无服务器推理商接入模型页与 SDK,读者可据此判断多供应商调用与计费方式的变化。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。
Hugging Face 为 smolagents 加入视觉支持,可在智能体流程中原生使用视觉语言模型。图片既能在 run 方法中一次性传入并存入 TaskStep 的 task_images,也能通过 step_callbacks 在每步把截图写入 ActionStep 的 observation_images。
推荐理由:官方给出 smolagents 接入视觉语言模型的两条路径与回调写法,可据此改造现有智能体流程。
Hugging Face 发布 SmolVLM-256M 和 SmolVLM-500M 两款视觉语言模型,其中 256M 被称为全球最小的 VLM,共提供两个 base 和两个指令微调共四个 checkpoint。
推荐理由:SmolVLM 家族新增 256M 与 500M 两个小尺寸多模态模型,读者可据此了解小模型在视觉语言任务上的取舍与部署方式。
Hugging Face 发布方法,用 Sentence Transformers 训练静态嵌入模型,在 CPU 上比主流嵌入模型快 100 到 400 倍,同时保留大部分质量。
推荐理由:原文公开了静态嵌入模型的完整训练配方与两个已发布模型,读者可据此在 CPU 上复现高效嵌入方案。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的轻量库,核心是 CodeAgent,即让智能体用代码而非 JSON 编写动作,并支持通过 E2B 在沙箱中执行。
推荐理由:Hugging Face 官方发布轻量智能体库,给出代码写动作的设计取舍与开源模型对比,可据此判断自建 Agent 的实现路径。
Hugging Face 发布教程,介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由:文章用 PyTorch 内存快照拆解训练各阶段显存占用,并给出可复用的显存估算公式。
Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。
推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型,参数规模均在 100 亿以下。
推荐理由:Falcon3 系列覆盖 1B 到 10B 五款开源模型,给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
Hugging Face 发布 Synthetic Data Generator,一个无代码应用,用户用自然语言描述需求即可借助 LLM 生成自定义数据集。工具目前支持文本分类和聊天数据集,分别约每分钟生成 50 和 20 个样本,底层由 distilabel 和免费的 Hugging Face text-generation API 驱动。
推荐理由:原文给出从提示词到数据集再到模型的完整无代码流程,读者可据此判断合成数据工具的实际可用边界。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器,文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种参数规格,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 仅有 3B 版本。
推荐理由:Google 新视觉语言模型给出 3B 到 28B 三种规格与三档分辨率,可据此判断微调选型空间。
Hugging Face 发布 SmolVLM 系列 2B 视觉语言模型,包含 Base、Synthetic 和 Instruct 三个版本,模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由:2B 视觉语言模型给出显存占用与吞吐对比,可据此判断端侧多模态部署的可行边界。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型与任意模型族的辅助模型配对,无需共享 tokenizer。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法,读者可了解无需同族小模型即可加速推理的思路与实测数据。