Hugging Face 详解 Xet 存储:从分块到块聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队介绍其基于内容定义分块(CDC)的存储方案,通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射,把 CAS 条目减少约 1000 倍,部分场景上传下载提速 2-3 倍。
推荐理由:Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输,读者可了解大文件上传下载提速的实现思路。
Hugging Face 的 Xet 团队介绍其基于内容定义分块(CDC)的存储方案,通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射,把 CAS 条目减少约 1000 倍,部分场景上传下载提速 2-3 倍。
推荐理由:Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输,读者可了解大文件上传下载提速的实现思路。
Hugging Face 在 24 小时复现冲刺中开源了 DeepResearch 框架,用 smolagents 的 CodeAgent 在 GAIA 验证集上达到 55.15%,超过此前开源框架 Magentic-One 的约 46%。
推荐理由:原文给出开源复现 DeepResearch 的完整方法,读者可据此了解代码智能体在 GAIA 上的表现差异。
Hugging Face 将 Physical Intelligence 开发的 π0 和 π0-FAST 两个机器人基础模型移植到 LeRobot 仓库,并给出 PyTorch 版本与模型合集。
推荐理由:原文给出两个 VLA 模型在 LeRobot 的移植细节与 FAST 分词原理,读者可据此判断机器人基础模型的落地路径。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
Hugging Face 发布 TimmWrapper,让任意 timm 视觉模型可直接接入 transformers 生态,支持 pipeline API、Auto 类和 Trainer 微调。该工具可用约 5 行代码配合 BitsAndBytesConfig 完成 8bit 量化,并支持 torch.compile 加速推理与 LoRA 适配器微调,微调后模型还能回到 timm 使用。
Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。
推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B,一个基于完全开放数据训练的混合 Mamba2 模型,在 vLLM 中相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速。
Hugging Face 与 Entalpic 联合发布开源项目 LeMaterial,并推出首个数据集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD 三大材料数据库,形成 670 万条条目、7 种材料属性的统一数据格式,采用 CC-BY-4.0 许可。
dottxt 与 Hugging Face 合作发布 outlines-core,这是 outlines 结构化生成核心算法的 Rust 移植版,0.1.0 的 Python 绑定已上线。
推荐理由:Outlines 核心算法用 Rust 重写并发布 0.1.0,读者可了解结构化生成在速度与可移植性上的变化。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的落地条件。
Hugging Face 发布 BenCzechMark,首个面向捷克语的大语言模型综合评测套件,包含 50 个任务、9 个类别,其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型,任务覆盖阅读理解、事实知识、语法错误检测、数学推理、自然语言推理、命名实体识别与情感分析等,并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face 发布教程,介绍如何把 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格。教程提供 InstantTexture 库,一条 pip 命令即可将顶点着色的 .obj 网格转换为带纹理的 .glb 文件,并详解用 xatlas 生成 UV 贴图、重心坐标插值填充纹理,再经修复、中值滤波、高斯模糊和降采样消除空洞的完整流程。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,无需从零预训练。他们用 BitNet 架构微调 Llama3 8B,其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调,模型以 HF1BitLLM 组织发布,在 MMLU 上超过 Llama 1 7B。
推荐理由:原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录,可迁移到其他模型的低比特微调。
Hugging Face 发布 Accelerate 1.0.0 首个候选版本,可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由:Accelerate 1.0 候选版发布,梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动,便于评估升级成本。
Hugging Face 提出 LeRobotDataset 格式,用视频编码存储机器人数据集的视觉模态,平均体积仅为原始版本的 14%,最佳情况可低至 0.2%,同时保持完整训练能力。解码单帧耗时与加载压缩图片相当,连续多帧解码仅需其 25%-50%,并原生集成 Hub 与可视化工具。
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。
推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。
Hugging Face 发布 Docmatix,一个包含 240 万张图像、950 万问答对(源自 130 万份 PDF)的 DocVQA 数据集,规模是此前数据集的 240 倍。
Mistral AI 发布基于 Mistral 7B 的数学推理模型 Mathstral 7B,在 MATH 上得分 56.6%、MMLU 上得分 63.47%,在同尺寸模型中达到 SOTA。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了三个尺寸小模型的训练数据配比与评测对比,可据此判断端侧小模型的取舍。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集,吸引超 385 人参与,并被用于构建 SPIN 等新模型。
Hugging Face 发布 BigCodeBench,一个面向 LLM 代码生成的新基准,包含 1,140 个函数级任务,要求模型调用 139 个库中的多个函数作为工具,每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题,LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face 发布通用智能体项目 Jack of All Trades(JAT),基于 GPT-Neo 的 Transformer 架构,用单一网络在 Atari 57。
Meta 发布 Llama 3 系列开源大模型,包含 8B 和 70B 两个尺寸,各有 base 与 instruct 版本,上下文长度 8K tokens,并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由:Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式,读者可据此了解新模型规格与上手路径。
Hugging Face 上线 LiveCodeBench 排行榜,基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准,从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题,通过"随时间滚动"评估检测并防止数据污染。
Pollen Robotics 开源 pollen-vision 库,为机器人提供零样本视觉模型的统一接口,首个版本聚焦 3D 物体检测,输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活,量化模型可部署在 CUDA、MPS 等任意设备上。
Hugging Face 推出 WebSight 数据集,用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对合成数据扩展至 v0.2 的 200 万对,改用真实截图和 Tailwind CSS。基于此微调的视觉语言模型 Sightseer 可将截图转为可用 HTML,并还原其中的图像。
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练,并同步开放模型、数据集及训练代码。
推荐理由:BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码,读者可据此判断开源代码模型的能力边界与数据规模。
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark,系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。
Hugging Face 在 PEFT 中新增面向 LoRA 适配器的合并方法,包括 cat、linear、svd、ties、dare 和 magnitude_prune 等,可通过 add_weighted_adapter() 调用。
Hugging Face 推出 NPHardEval 排行榜,基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准,通过计算复杂度类别评估 LLM 推理能力。
IBM Research 与 Hugging Face 团队合作,在 Transformers 库中发布了轻量级时间序列模型 PatchTSMixer,它基于 MLP-Mixer 架构,支持跨 patch、通道和隐藏特征的混合以及多种注意力机制。
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 对齐方法,扫描 β 等关键超参数并用 MT-Bench 评估。
Vectara 基于 Hugging Face 开源的 leaderboard 模板发布了新版 HHEM 幻觉排行榜,用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个面向领域特定方面级情感分析(ABSA)的少样本训练框架,在少样本场景下表现可媲美甚至超越 Llama2、T5 等生成式模型。
Hugging Face 在 trl 库中集成 DDPOTrainer,可用 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
Hugging Face Hub 现已集成 BERTopic,用户可直接在 Hub 上访问和共享主题模型。BERTopic 是一种基于 Transformer 嵌入向量和 c-TF-IDF 的主题建模技术,支持神经主题建模。此次集成让开发者能更便捷地加载、上传和复用主题模型。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4-bit 精度加载和运行模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 把 4-bit 量化与 QLoRA 接入 transformers,读者可据此判断消费级显卡微调大模型的门槛变化。
Hugging Face 博客探索用指令微调让 Stable Diffusion 按指令处理输入图像,方法基于 InstructPix2Pix 的训练策略并借鉴 FLAN V2 的指令模板思路。