跳到正文

#部署/工程

今日 7 条
5月4日周一
4月29日周三
  1. Hugging Face Blog60

    Granite 4.1 LLM 是如何构建的:五阶段预训练、SFT 与多阶段 RL 全流程

    IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

    推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月28日周二
4月27日周一
4月23日周四
4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。

    推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。

4月20日周一
  1. Berkeley AI Research37

    GRASP:面向世界模型的梯度规划器,让长时程规划更稳健

    伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接加入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的“状态-输入”梯度,使基于学习世界模型的长时程规划变得可行。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维隐空间失效模式等问题。

4月16日周四
4月15日周三
4月13日周一
4月10日周五
4月9日周四
  1. Hugging Face Blog62

    Overworld 发布 Waypoint-1.5 实时视频世界模型,消费级 GPU 可跑 720p 60FPS

    Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档位,后续将支持 Apple Silicon Mac。

    推荐理由:Waypoint-1.5 给出 720p 与 360p 两档本地实时世界模型,读者可据此判断消费级硬件跑交互式生成世界的门槛。

4月8日周三
4月1日周三
  1. Hugging Face Blog62

    Hugging Face 推出 gradio.Server,让任意前端接入 Gradio 后端

    Hugging Face 发布 gradio.Server,它扩展 FastAPI,让开发者用 React、Svelte 或原生 HTML/JS 等自定义前端,同时保留 Gradio 的排队、SSE 流式、并发控制、MCP 支持和 Spaces 上的 ZeroGPU。

    推荐理由:原文给出 gradio.Server 的完整后端示例,读者可据此判断自定义前端如何接入 Gradio 的队列与 ZeroGPU。

3月31日周二
  1. Mistral AI38

    Mistral AI 推出 Spaces:一款为人类和 AI 智能体打造的 CLI

    Mistral AI 发布 Spaces CLI,同时面向人类开发者和编码智能体设计。它通过 `spaces init`、`spaces dev` 等命令完成项目脚手架、开发环境与部署,并让每个交互式提示都有对应的 flag 或配置文件,使智能体可自主操作。每次 init 还会生成 context.json 和 AGENTS.md 两个文件,为智能体提供项目上下文与规则。

3月27日周五
3月25日周三
  1. Google Research60

    Google 发布 Vibe Coding XR:用 Gemini 和 XR Blocks 把自然语言变成 Android XR 应用

    Google 发布 Vibe Coding XR 工作流,将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合,把自然语言提示词直接转成可运行的物理感知 Android XR 应用,耗时不到 60 秒。

    推荐理由:Google 把 Gemini 与 XR Blocks 组合成从自然语言到 Android XR 应用的生成流程,并给出 VCXR60 初步评测数据,可据此判断 XR 原型的门槛变化。

  2. Google Research62

    Google 发布 TurboQuant 等向量量化方法,将 KV cache 压至 3 bit

    Google Research 提出 TurboQuant 压缩算法,并配套 QJL 与 PolarQuant 两种方法,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 发表。

    推荐理由:Google 提出 TurboQuant 等三种向量量化方法,可在不损失精度的前提下把 KV cache 压到 3 bit,读者可据此了解长上下文推理的内存优化路径。

3月21日周六
  1. Hugging Face Blog66

    NVIDIA 发布一天内构建领域专用嵌入模型的微调教程

    NVIDIA 发布教程,介绍用单张 GPU 在一天内将通用嵌入模型微调为领域专用模型,无需人工标注。流程基于 NeMo Data Designer 生成合成问答数据、挖掘难负样本并微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据上 Recall@10 和 NDCG@10 提升超过 10%。

    推荐理由:NVIDIA 给出从合成数据到部署的完整嵌入模型微调流程,并附 Atlassian 在 Jira 数据上的实测提升。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。

3月11日周三
3月10日周二
  1. Hugging Face Blog62

    Hugging Face 综述 16 个开源异步 RL 训练库

    Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。

    推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。

3月9日周一
  1. Hugging Face Blog62

    Ulysses 序列并行:如何用百万 token 上下文训练模型

    Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

3月5日周四
  1. Hugging Face Blog38

    如何在嵌入式平台部署机器人 AI:数据集录制、VLA 微调与端侧优化

    Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,覆盖数据集录制、VLA 策略微调(ACT 与 SmolVLA)及端侧优化。NXP 以"把茶包放进杯子"任务录制 120 个 episode,将机械臂工作空间划分为 11 个 10×10 cm 聚类,并推荐使用夹爪相机提升精细操作成功率。指南还介绍了 NXP i.MX 95 SoC 经优化后实现的实时性能。

2月27日周五
2月26日周四
2月23日周一
2月20日周五
2月18日周三
  1. Hugging Face Blog62

    Gradio 6 的 gr.HTML 支持自定义模板与 JS 交互

    Gradio 6 为 gr.HTML 加入自定义模板、作用域 CSS 和 JavaScript 交互能力,可在单个 Python 文件中完成前端、后端与状态管理,无需构建步骤即可部署到 Hugging Face Spaces。

    推荐理由:原文给出 gr.HTML 的模板与状态同步写法,读者可据此判断单文件自定义组件的可行边界。

2月13日周五
  1. Hugging Face Blog66

    Hugging Face 发布 CUDA kernel Agent 技能,Claude 与 Codex 为 LTX-Video 和 Qwen3-8B 生成可用内核

    Hugging Face 构建了一个 Agent 技能,教编码智能体编写生产级 CUDA kernel,并用 Claude 和 Codex 在 diffusers 的 LTX-Video 与 transformers 的 Qwen3-8B 两个真实目标上端到端生成了可用的 kernel、PyTorch 绑定和基准脚本。

    推荐理由:Hugging Face 把 CUDA kernel 开发经验封装成 Agent 技能,并给出两个真实模型的端到端基准,读者可据此判断这类技能的实际收益。

2月9日周一
  1. Hugging Face Blog66

    Transformers.js v4 发布并上线 NPM

    Transformers.js v4 已在 NPM 发布,可通过 npm i @huggingface/transformers 安装,距 2025 年 3 月启动开发约一年。

    推荐理由:官方给出 v4 的 WebGPU 运行时重写、构建提速与包体积变化,可据此判断浏览器端推理的工程收益。