如何在嵌入式平台部署机器人 AI:数据集录制、VLA 微调与端侧优化
Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,覆盖数据集录制、VLA 策略微调(ACT 与 SmolVLA)及端侧优化。NXP 以"把茶包放进杯子"任务录制 120 个 episode,将机械臂工作空间划分为 11 个 10×10 cm 聚类,并推荐使用夹爪相机提升精细操作成功率。指南还介绍了 NXP i.MX 95 SoC 经优化后实现的实时性能。
Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,覆盖数据集录制、VLA 策略微调(ACT 与 SmolVLA)及端侧优化。NXP 以"把茶包放进杯子"任务录制 120 个 episode,将机械臂工作空间划分为 11 个 10×10 cm 聚类,并推荐使用夹爪相机提升精细操作成功率。指南还介绍了 NXP i.MX 95 SoC 经优化后实现的实时性能。
OpenAI 投资 Merge Labs,支持新型脑机接口研发,目标是连接生物智能与人工智能,最大化人类能力、能动性与体验。
AMD 联合 Hugging Face 和 Data Monsters 举办 AMD Open Robotics Hackathon,首场线下赛于 2025 年 12 月 5-7 日在东京举行,第二场于 12 月 12-14 日在巴黎举行。
NVIDIA Isaac for Healthcare v0.4 发布 SO-ARM 入门工作流,提供从仿真、训练到真机部署的端到端流程,用于构建自主手术辅助机器人。
NVIDIA Isaac for Healthcare v0.4 发布,提供基于 SO-ARM 的端到端入门工作流,覆盖数据采集、GR00T N1.5 后训练与真机部署,训练数据中超过 93% 由仿真合成生成。
Hugging Face 发布 LeRobot v0.4.0,为开源机器人学习带来 LeRobotDataset v3.0、PI0.5 与 GR00T N1.5 等 VLA 策略,以及新的硬件插件系统。
推荐理由:LeRobot v0.4.0 把数据集、VLA 策略与硬件插件整合进同一开源栈,读者可据此判断机器人学习工具链的成熟度。
Hugging Face 发布 LeRobotDataset v3.0,将多个 episode 打包进单个文件,并用关系型元数据在 episode 级别检索信息,解决 v2 每文件单 episode 在百万级数据集下的文件系统瓶颈。
Hugging Face 发布博客详解异步机器人推理,通过将动作预测与执行解耦,让机器人在等待新动作块计算时持续执行当前动作,实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face 与 Pollen Robotics 发布开源机器人 Reachy Mini,Lite 版 399 美元、带 Raspberry Pi 4 与电池的 Compute 版 499 美元,均需另付税费和运费,预计约 90 天发货。
推荐理由:Reachy Mini 给出了开源硬件规格、两档价格与 Hugging Face 行为库入口,可据此判断桌面机器人开发门槛。
NVIDIA 发布 Isaac GR00T N1.5,这是 Isaac GR00T N1 的首次重大更新,可通过后训练适配具体本体、任务和环境。博客给出完整教程,演示如何用单台 SO-101 机械臂的遥操作数据微调 GR00T N1.5,涵盖环境安装、数据集准备、微调、开环评估和真机部署五步。
推荐理由:原文给出用单臂遥操作数据微调 GR00T N1.5 的完整命令流程,可迁移到其他机器人本体。
Hugging Face 发布 SmolVLA,一个 450M 参数的开源视觉-语言-动作模型,可在消费级硬件上运行,仅用 lerobot 标签下的社区共享数据集预训练。
推荐理由:450M 的 VLA 模型仅用社区数据预训练就能在仿真和真机上超过更大模型,读者可据此判断开源机器人策略的可行路径。
Hugging Face 发文称 LeRobot 社区贡献数据集正快速增长,目标是打造机器人领域的“ImageNet”,将泛化视为数据问题而非单纯的模型能力问题。
Hugging Face 宣布收购成立 9 年的开源机器人公司 Pollen Robotics,这是其第五次收购,此前曾收购 Gradio 和 XetHub。
推荐理由:Hugging Face 收购 Pollen Robotics 并开卖 Reachy 2,读者可了解开源机器人从代码库走向硬件销售的变化。
NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果:世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型,读者可据此了解物理 AI 开发可用的工具链。
Hugging Face 将 Physical Intelligence 开发的 π0 和 π0-FAST 两个机器人基础模型移植到 LeRobot 仓库,并给出 PyTorch 版本与模型合集。
推荐理由:原文给出两个 VLA 模型在 LeRobot 的移植细节与 FAST 分词原理,读者可据此判断机器人基础模型的落地路径。
Hugging Face 提出 LeRobotDataset 格式,用视频编码存储机器人数据集的视觉模态,平均体积仅为原始版本的 14%,最佳情况可低至 0.2%,同时保持完整训练能力。解码单帧耗时与加载压缩图片相当,连续多帧解码仅需其 25%-50%,并原生集成 Hub 与可视化工具。
Pollen Robotics 开源 pollen-vision 库,为机器人提供零样本视觉模型的统一接口,首个版本聚焦 3D 物体检测,输出物体在 3D 空间中的 (x, y, z) 坐标。
OpenAI 训练了一对神经网络,让类人机械手解开魔方。神经网络完全在仿真中训练,使用与 OpenAI Five 相同的强化学习代码,并搭配名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被毛绒长颈鹿戳碰,说明强化学习不只适用于虚拟任务,也能解决需要极高灵巧度的物理世界问题。
推荐理由:OpenAI 用仿真训练加 ADR 让机械手解魔方,可了解强化学习从虚拟任务走向物理操作的关键思路。
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI Robotics Symposium。
OpenAI 训练出一只类人机械手,能够以空前的灵巧度操控实物。材料未披露具体方法、训练环境与评测数据。
推荐理由:OpenAI 用仿真环境训练类人机械手完成实物操作,可了解早期具身智能的迁移思路。
OpenAI 发布八个模拟机器人环境和 Hindsight Experience Replay 的 Baselines 实现,均基于过去一年的研究开发。这些环境已用于训练可迁移至实体机器人的模型,同时 OpenAI 还发布了一系列机器人研究课题请求。
OpenAI 最新机器人技术让完全在仿真中训练的控制器部署到实体机器人后,能在完成简单任务时应对环境中的意外变化,即从以往的开环系统转向闭环系统。
OpenAI 展示在模拟机器人摔跤任务中,元学习智能体能够快速击败更强的非元学习智能体,并能适应物理故障。
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库,该库源自其过去一年的机器人研究。
OpenAI 创建了一套机器人系统,完全在仿真环境中训练并部署到实体机器人上,该系统在看过一次任务演示后即可学会新任务。
推荐理由:OpenAI 早期机器人研究,展示仿真训练后迁移到实体机器人并实现单次示范学习新任务。
OpenAI 发布 Roboschool,这是一款用于机器人仿真的开源软件,已与 OpenAI Gym 集成。
推荐理由:OpenAI 开源机器人仿真软件并接入 Gym,读者可了解早期机器人强化学习环境的开放入口。
OpenAI 造出全球首个完全在仿真环境中训练、并部署到实体机器人上的垃圾邮件检测 AI。该系统将垃圾邮件识别从数字世界延伸到物理世界。