跳到正文

#部署/工程

今日 9 条
3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。

3月11日周三
3月10日周二
  1. Hugging Face Blog62

    Hugging Face 综述 16 个开源异步 RL 训练库

    Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。

    推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。

3月9日周一
  1. Hugging Face Blog62

    Ulysses 序列并行:如何用百万 token 上下文训练模型

    Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

3月5日周四
  1. Hugging Face Blog38

    如何在嵌入式平台部署机器人 AI:数据集录制、VLA 微调与端侧优化

    Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,覆盖数据集录制、VLA 策略微调(ACT 与 SmolVLA)及端侧优化。NXP 以"把茶包放进杯子"任务录制 120 个 episode,将机械臂工作空间划分为 11 个 10×10 cm 聚类,并推荐使用夹爪相机提升精细操作成功率。指南还介绍了 NXP i.MX 95 SoC 经优化后实现的实时性能。

2月27日周五
2月26日周四
2月23日周一
2月20日周五
2月18日周三
  1. Hugging Face Blog62

    Gradio 6 的 gr.HTML 支持自定义模板与 JS 交互

    Gradio 6 为 gr.HTML 加入自定义模板、作用域 CSS 和 JavaScript 交互能力,可在单个 Python 文件中完成前端、后端与状态管理,无需构建步骤即可部署到 Hugging Face Spaces。

    推荐理由:原文给出 gr.HTML 的模板与状态同步写法,读者可据此判断单文件自定义组件的可行边界。

2月13日周五
  1. Hugging Face Blog66

    Hugging Face 发布 CUDA kernel Agent 技能,Claude 与 Codex 为 LTX-Video 和 Qwen3-8B 生成可用内核

    Hugging Face 构建了一个 Agent 技能,教编码智能体编写生产级 CUDA kernel,并用 Claude 和 Codex 在 diffusers 的 LTX-Video 与 transformers 的 Qwen3-8B 两个真实目标上端到端生成了可用的 kernel、PyTorch 绑定和基准脚本。

    推荐理由:Hugging Face 把 CUDA kernel 开发经验封装成 Agent 技能,并给出两个真实模型的端到端基准,读者可据此判断这类技能的实际收益。

2月9日周一
  1. Hugging Face Blog66

    Transformers.js v4 发布并上线 NPM

    Transformers.js v4 已在 NPM 发布,可通过 npm i @huggingface/transformers 安装,距 2025 年 3 月启动开发约一年。

    推荐理由:官方给出 v4 的 WebGPU 运行时重写、构建提速与包体积变化,可据此判断浏览器端推理的工程收益。

2月5日周四
1月27日周二
1月22日周四
1月21日周三
1月20日周二
1月15日周四
1月14日周三
1月9日周五
1月8日周四
1月6日周二
1月5日周一
12月17日周三
  1. Mistral AI66

    Mistral 发布 OCR 3,表单与手写识别胜率较上一代提升 74%

    Mistral 发布文档识别模型 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与每千页定价,便于评估替换成本。

12月12日周五
12月11日周四
  1. Hugging Face Blog62

    llama.cpp 新增模型管理功能:router 模式支持动态加载与切换模型

    llama.cpp server 新增 router 模式,可在不重启服务的情况下动态加载、卸载和切换多个模型。该模式采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型;支持自动发现缓存或 --models-dir 目录中的 GGUF 文件、按需加载、LRU 淘汰(默认 --models-max 4)以及按请求中的 model 字段路由。

    推荐理由:llama.cpp server 新增 router 模式,读者可据此了解本地多模型动态加载与切换的具体用法。

12月5日周五
12月1日周一
11月26日周三
11月25日周二
  1. Hugging Face Blog22

    从第一性原理理解 continuous batching

    Hugging Face 发布博客,从 attention 机制与 KV caching 出发,推导出 continuous batching 这一推理优化技术。该方法通过并行处理多个对话、完成即换出,最大化吞吐量,适用于高负载 LLM 服务场景。文章指出 attention 是 token 间唯一交互之处,其计算复杂度随序列长度呈平方增长。

  2. Hugging Face Blog50

    Tavily 如何打造达到 SOTA 的深度研究智能体

    Tavily 分享了其构建达到 SOTA 的深度研究智能体的经验,团队曾因旧架构假设成为瓶颈而推倒重来,历时七个月重建整个系统。其核心思路是简化编排逻辑、拥抱模型自主性,并借助 Tavily Advanced Search 在工具侧完成上下文工程,只返回最相关内容块以降低幻觉和延迟。团队还提出将工具输出蒸馏为反思、仅在生成最终结果时注入原始信息,以模拟人类的迭代式研究过程。