跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

173条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 61–80 条 · 共 173 条
5月17日周日
  1. Google DeepMind62

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini、Chrome 和 Pixel

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search,并将在未来几周进入 Chrome;该验证功能在 Gemini 中已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel,读者可据此了解内容溯源工具的实际覆盖范围。

4月29日周三
  1. Hugging Face Blog60

    Granite 4.1 LLM 是如何构建的:五阶段预训练、SFT 与多阶段 RL 全流程

    IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

    推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月28日周二
4月27日周一
4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。

    推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。

4月16日周四
4月15日周三
4月9日周四
  1. Hugging Face Blog62

    Overworld 发布 Waypoint-1.5 实时视频世界模型,消费级 GPU 可跑 720p 60FPS

    Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档位,后续将支持 Apple Silicon Mac。

    推荐理由:Waypoint-1.5 给出 720p 与 360p 两档本地实时世界模型,读者可据此判断消费级硬件跑交互式生成世界的门槛。

4月1日周三
  1. Hugging Face Blog62

    Hugging Face 推出 gradio.Server,让任意前端接入 Gradio 后端

    Hugging Face 发布 gradio.Server,它扩展 FastAPI,让开发者用 React、Svelte 或原生 HTML/JS 等自定义前端,同时保留 Gradio 的排队、SSE 流式、并发控制、MCP 支持和 Spaces 上的 ZeroGPU。

    推荐理由:原文给出 gradio.Server 的完整后端示例,读者可据此判断自定义前端如何接入 Gradio 的队列与 ZeroGPU。

3月27日周五
3月25日周三
  1. Google Research60

    Google 发布 Vibe Coding XR:用 Gemini 和 XR Blocks 把自然语言变成 Android XR 应用

    Google 发布 Vibe Coding XR 工作流,将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合,把自然语言提示词直接转成可运行的物理感知 Android XR 应用,耗时不到 60 秒。

    推荐理由:Google 把 Gemini 与 XR Blocks 组合成从自然语言到 Android XR 应用的生成流程,并给出 VCXR60 初步评测数据,可据此判断 XR 原型的门槛变化。

  2. Google Research62

    Google 发布 TurboQuant 等向量量化方法,将 KV cache 压至 3 bit

    Google Research 提出 TurboQuant 压缩算法,并配套 QJL 与 PolarQuant 两种方法,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 发表。

    推荐理由:Google 提出 TurboQuant 等三种向量量化方法,可在不损失精度的前提下把 KV cache 压到 3 bit,读者可据此了解长上下文推理的内存优化路径。

3月21日周六
  1. Hugging Face Blog66

    NVIDIA 发布一天内构建领域专用嵌入模型的微调教程

    NVIDIA 发布教程,介绍用单张 GPU 在一天内将通用嵌入模型微调为领域专用模型,无需人工标注。流程基于 NeMo Data Designer 生成合成问答数据、挖掘难负样本并微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据上 Recall@10 和 NDCG@10 提升超过 10%。

    推荐理由:NVIDIA 给出从合成数据到部署的完整嵌入模型微调流程,并附 Atlassian 在 Jira 数据上的实测提升。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。

3月10日周二
  1. Hugging Face Blog62

    Hugging Face 综述 16 个开源异步 RL 训练库

    Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。

    推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。

3月9日周一
  1. Hugging Face Blog62

    Ulysses 序列并行:如何用百万 token 上下文训练模型

    Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

2月27日周五