跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

173条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 21–40 条 · 共 173 条
9月30日周三
  1. AWS Machine Learning Blog62

    GPT-6.1 Sol 在 Amazon Bedrock 正式可用

    GPT-6.1 Sol 已在 Amazon Bedrock 正式可用,作为 GPT-6 Sol 的重大升级,面向智能体编码、计算机使用和专业工作负载提供更强的推理能力。

    推荐理由:原文给出 GPT-6.1 Sol 在 Bedrock 上的可用入口与成本对比,读者可据此判断智能体编码任务的性价比变化。

9月24日周四
  1. Microsoft Research60

    微软研究院:将物理 AI 推理卸载到边缘或云端 GPU 可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了首次系统性研究,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出可复用的 Kubernetes 卸载工具链。

  2. Google DeepMind60

    Google DeepMind 为 Private AI Compute 引入服务端安全持久记忆

    Google DeepMind 公布 Private AI Compute 平台的新技术能力,将持久化服务端记忆引入云端 AI 计算。该架构把协助所需信息封存在加密存储中,解密密钥仅保存在用户个人设备上,模型访问时通过端到端加密通道连接云端安全隔区,在隔离内存中临时解密、保存新上下文后立即重新加密。

    推荐理由:Google 公开了云端持久记忆的隐私架构细节,读者可据此了解跨设备 AI 记忆如何在加密与安全隔区下实现。

9月22日周二
9月17日周四
  1. GitHub Blog · AI & ML85

    GitHub 用 Copilot 将 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI 智能体写了大部分代码,分布在 128 个 PR 中增量合入 main,而非一次性切换。

    推荐理由:原文给出把大型 TypeScript 运行时迁到 Rust 的完整工程方法,包括分层、互操作与多智能体协作的取舍。

9月16日周三
  1. NVIDIA Blog62

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能

    NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。

    推荐理由:MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据,可用于比较推理基础设施的长期经济性。

9月5日周六
  1. GitHub Blog · AI & ML71

    GitHub 发布 Project HydraFusion:用多模型编排实现前沿级编码质量

    GitHub 推出研究预览版 Project HydraFusion,在 GitHub Copilot CLI 中通过运行时编排多个提供商的模型,自动选择 Single、Cascade、Critique 三种执行模式来完成任务。

    推荐理由:GitHub 官方给出 HydraFusion 的三种编排模式与三项基准的成本质量对比,可据此判断多模型编排在编码任务上的取舍。

9月1日周二
  1. Hugging Face Blog62

    Hugging Face 发布 @huggingface/kernels:207 个 WebGPU kernel 与 Fleet 测试套件

    Hugging Face 发布 @huggingface/kernels,一个从 Hugging Face Hub 加载并运行 WebGPU kernel 的 JavaScript 库,同时上线 207 个 Apache-2.0 许可的 kernel,每个都以独立仓库形式发布,包含 manifest、正确性用例、基准用例和 WGSL 着色器模板。

    推荐理由:Hugging Face 发布 207 个 WebGPU kernel 及加载库,并给出与 ORT WebGPU 的逐算子对比数据,可据此判断浏览器端推理的优化空间。

8月25日周二
  1. Hugging Face Blog60

    Multiverse Computing 提出 Quantization-Aware Healing,4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 版本

    Multiverse Computing 发布论文提出 Quantization-Aware Healing(QAH),直接从未压缩的原始模型蒸馏,而非从恢复后的 bfloat16 checkpoint 蒸馏。

    推荐理由:论文给出压缩后 4-bit 模型反超自身 bfloat16 版本的基准对比,以及 QAH 与 QAT 的训练稳定性差异。

8月21日周五
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.2 倍

    Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。

    推荐理由:Liquid AI 给出三个 LFM2.5 模型的 DSpark 草稿模型与实测加速数据,读者可据此判断端侧推理的可用性。

8月13日周四
8月11日周二
  1. Mistral AI62

    Mistral 推出区域推理端点与优先级服务,并接入 GLM-5.2 等第三方开源模型

    Mistral 宣布 Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行,同时 Mistral Priority Tier 进入公开预览,提供自定义速率限制和带 SLA 的可用性承诺。

    推荐理由:Mistral 把区域推理端点、优先级服务和第三方开源模型接入放在同一套基础设施上,读者可据此判断欧洲主权 AI 的落地路径。

  2. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开放权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。

8月4日周二
  1. Microsoft Research71

    微软研究院开源 Orchard:可扩展智能体 AI 框架

    微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用于软件工程、网页导航和个人助理三类智能体任务,并支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练。

    推荐理由:微软研究院开源 Orchard 框架,用约 3B 激活参数在 SWE-bench Verified 上达到 69.7%,读者可据此判断小模型智能体的训练成本与可行性。

7月30日周四
7月29日周三
7月8日周三
7月7日周二
  1. Hugging Face Blog62

    SkyPilot 与 Hugging Face 联合推出零出网费存储集成

    SkyPilot 与 Hugging Face 联合发布存储集成,用户可用一个 hf:// URL 和已有的 HF_TOKEN 把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。

    推荐理由:原文给出 hf:// 挂载与零出网费的具体机制和跨云基准数据,读者可据此判断跨云训练存储成本的变化。