Hugging Face 详解异步机器人推理:解耦动作预测与执行
Hugging Face 发布博客详解异步机器人推理,通过将动作预测与执行解耦,让机器人在等待新动作块计算时持续执行当前动作,实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face 发布博客详解异步机器人推理,通过将动作预测与执行解耦,让机器人在等待新动作块计算时持续执行当前动作,实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face 以 nanoVLM 项目为例,展示如何用五阶段构建高效多模态数据管道,解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被空 token 占用,随后通过约束填充、背包算法打包和 ConstantLengthDataset 逐步优化。
Falcon-Edge 系列发布,基于 BitNet 架构,提供 1B 和 3B 两种参数规模,每种都有 base 和指令微调版本,权重以三元格式({-1, 0, 1})存储。
推荐理由:Falcon-Edge 用单次预训练同时产出 bfloat16 与三元量化版本,读者可据此了解 1.58bit 模型在端侧部署与微调上的新路径。
ServiceNow 开源实验性 RL 实现 PipelineRL,核心创新是在 RL 训练中进行飞行中权重更新,让推理服务器在不停止推理的情况下接收新权重,从而同时保持高推理吞吐和接近 on-policy 的数据采集。
推荐理由:ServiceNow 开源 PipelineRL,用飞行中权重更新化解推理吞吐与 on-policy 数据采集的取舍,并给出 7B/32B 训练对比结果。
Hugging Face 发布 Tiny Agents 教程,用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端与智能体,核心逻辑是工具调用加一个 while 循环。
推荐理由:作者以 Hugging Face 官方 SDK 为例,展示 MCP 客户端加一个 while 循环即可构成智能体,可迁移到自己的工具链。
TNG 基于 olmOCR-7B-0225-preview 微调出一款忠实 OCR 引擎,解决了原模型忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集,在 8xH100 节点上训练 2.5 个 epoch,使模型能完整提取发票等文档的页眉页脚内容并保留表格解析能力。该微调模型已在 Hugging Face 开源。
Language Technologies Lab 发布 Visual Salamandra,将 Salamandra Instructed 7B 大语言模型扩展至图像和视频多模态任务。
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards 统一评测平台,目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
Gradio 月活开发者已超过 100 万,Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini 和 LLaMA-Factory 等热门开源项目均在使用。
Gradio 为 gr.Dataframe 组件发布大规模更新,6 周内关闭超 70 个 dataframe 相关问题。新功能包括多单元格选择、行号与列固定(pinned_columns)、复制与全屏按钮、搜索(show_search="search")与过滤、静态列(static_columns)及键盘导航无障碍升级。
NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果:世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型,读者可据此了解物理 AI 开发可用的工具链。
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型,基于 Qwen2.5 Coder Instruct 微调,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由:Open R1 复现 R1 代码推理配方,给出数据集、IOI 基准与两个开源模型,并附训练经验。
Hugging Face 开源了一套三阶段视频数据集构建工具链,用于微调视频生成模型。该工具链支持 yt-dlp 下载、LAION-5B-WatermarkDetection 水印检测、improved-aesthetic-predictor 美学评分、Falconsai/nsfw_image_detection 内容过滤,并用 Florence-2 生成帧级描述。
Hugging Face 的 Xet 团队介绍其基于内容定义分块(CDC)的存储方案,通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射,把 CAS 条目减少约 1000 倍,部分场景上传下载提速 2-3 倍。
推荐理由:Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输,读者可了解大文件上传下载提速的实现思路。
Hugging Face 在 24 小时复现冲刺中开源了 DeepResearch 框架,用 smolagents 的 CodeAgent 在 GAIA 验证集上达到 55.15%,超过此前开源框架 Magentic-One 的约 46%。
推荐理由:原文给出开源复现 DeepResearch 的完整方法,读者可据此了解代码智能体在 GAIA 上的表现差异。
Hugging Face 将 Physical Intelligence 开发的 π0 和 π0-FAST 两个机器人基础模型移植到 LeRobot 仓库,并给出 PyTorch 版本与模型合集。
推荐理由:原文给出两个 VLA 模型在 LeRobot 的移植细节与 FAST 分词原理,读者可据此判断机器人基础模型的落地路径。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
Hugging Face 发布 TimmWrapper,让任意 timm 视觉模型可直接接入 transformers 生态,支持 pipeline API、Auto 类和 Trainer 微调。该工具可用约 5 行代码配合 BitsAndBytesConfig 完成 8bit 量化,并支持 torch.compile 加速推理与 LoRA 适配器微调,微调后模型还能回到 timm 使用。
Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。
推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B,一个基于完全开放数据训练的混合 Mamba2 模型,在 vLLM 中相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速。
Hugging Face 与 Entalpic 联合发布开源项目 LeMaterial,并推出首个数据集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD 三大材料数据库,形成 670 万条条目、7 种材料属性的统一数据格式,采用 CC-BY-4.0 许可。
dottxt 与 Hugging Face 合作发布 outlines-core,这是 outlines 结构化生成核心算法的 Rust 移植版,0.1.0 的 Python 绑定已上线。
推荐理由:Outlines 核心算法用 Rust 重写并发布 0.1.0,读者可了解结构化生成在速度与可移植性上的变化。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的落地条件。
Hugging Face 发布 BenCzechMark,首个面向捷克语的大语言模型综合评测套件,包含 50 个任务、9 个类别,其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型,任务覆盖阅读理解、事实知识、语法错误检测、数学推理、自然语言推理、命名实体识别与情感分析等,并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face 发布教程,介绍如何把 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格。教程提供 InstantTexture 库,一条 pip 命令即可将顶点着色的 .obj 网格转换为带纹理的 .glb 文件,并详解用 xatlas 生成 UV 贴图、重心坐标插值填充纹理,再经修复、中值滤波、高斯模糊和降采样消除空洞的完整流程。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,无需从零预训练。他们用 BitNet 架构微调 Llama3 8B,其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调,模型以 HF1BitLLM 组织发布,在 MMLU 上超过 Llama 1 7B。
推荐理由:原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录,可迁移到其他模型的低比特微调。
Hugging Face 发布 Accelerate 1.0.0 首个候选版本,可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由:Accelerate 1.0 候选版发布,梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动,便于评估升级成本。
Hugging Face 提出 LeRobotDataset 格式,用视频编码存储机器人数据集的视觉模态,平均体积仅为原始版本的 14%,最佳情况可低至 0.2%,同时保持完整训练能力。解码单帧耗时与加载压缩图片相当,连续多帧解码仅需其 25%-50%,并原生集成 Hub 与可视化工具。
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。
推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。
Hugging Face 发布 Docmatix,一个包含 240 万张图像、950 万问答对(源自 130 万份 PDF)的 DocVQA 数据集,规模是此前数据集的 240 倍。
Mistral AI 发布基于 Mistral 7B 的数学推理模型 Mathstral 7B,在 MATH 上得分 56.6%、MMLU 上得分 63.47%,在同尺寸模型中达到 SOTA。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了三个尺寸小模型的训练数据配比与评测对比,可据此判断端侧小模型的取舍。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集,吸引超 385 人参与,并被用于构建 SPIN 等新模型。
Hugging Face 发布 BigCodeBench,一个面向 LLM 代码生成的新基准,包含 1,140 个函数级任务,要求模型调用 139 个库中的多个函数作为工具,每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题,LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face 发布通用智能体项目 Jack of All Trades(JAT),基于 GPT-Neo 的 Transformer 架构,用单一网络在 Atari 57。
Meta 发布 Llama 3 系列开源大模型,包含 8B 和 70B 两个尺寸,各有 base 与 instruct 版本,上下文长度 8K tokens,并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由:Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式,读者可据此了解新模型规格与上手路径。
Hugging Face 上线 LiveCodeBench 排行榜,基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准,从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题,通过"随时间滚动"评估检测并防止数据污染。
Pollen Robotics 开源 pollen-vision 库,为机器人提供零样本视觉模型的统一接口,首个版本聚焦 3D 物体检测,输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活,量化模型可部署在 CUDA、MPS 等任意设备上。