跳到正文

#部署/工程

今日 9 条
9月21日周一
9月19日周六
9月17日周四
  1. GitHub Blog · AI & ML85

    GitHub 用 Copilot 将 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI 智能体写了大部分代码,分布在 128 个 PR 中增量合入 main,而非一次性切换。

    推荐理由:原文给出把大型 TypeScript 运行时迁到 Rust 的完整工程方法,包括分层、互操作与多智能体协作的取舍。

9月16日周三
  1. NVIDIA Blog62

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能

    NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。

    推荐理由:MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据,可用于比较推理基础设施的长期经济性。

9月11日周五
9月10日周四
  1. Mistral AI38

    Mistral 与 Cloudera 达成合作,将主权 AI 引入企业数据平台

    Mistral 与 Cloudera 宣布合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还能在受控环境中用专有数据训练定制模型,同时保有数据和模型所有权。Cloudera 平台承载 30 exabytes 客户管理数据,双方称此举面向对主权 AI 日益增长的需求。

9月5日周六
  1. GitHub Blog · AI & ML71

    GitHub 发布 Project HydraFusion:用多模型编排实现前沿级编码质量

    GitHub 推出研究预览版 Project HydraFusion,在 GitHub Copilot CLI 中通过运行时编排多个提供商的模型,自动选择 Single、Cascade、Critique 三种执行模式来完成任务。

    推荐理由:GitHub 官方给出 HydraFusion 的三种编排模式与三项基准的成本质量对比,可据此判断多模型编排在编码任务上的取舍。

9月1日周二
  1. Hugging Face Blog62

    Hugging Face 发布 @huggingface/kernels:207 个 WebGPU kernel 与 Fleet 测试套件

    Hugging Face 发布 @huggingface/kernels,一个从 Hugging Face Hub 加载并运行 WebGPU kernel 的 JavaScript 库,同时上线 207 个 Apache-2.0 许可的 kernel,每个都以独立仓库形式发布,包含 manifest、正确性用例、基准用例和 WGSL 着色器模板。

    推荐理由:Hugging Face 发布 207 个 WebGPU kernel 及加载库,并给出与 ORT WebGPU 的逐算子对比数据,可据此判断浏览器端推理的优化空间。

8月25日周二
  1. Hugging Face Blog60

    Multiverse Computing 提出 Quantization-Aware Healing,4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 版本

    Multiverse Computing 发布论文提出 Quantization-Aware Healing(QAH),直接从未压缩的原始模型蒸馏,而非从恢复后的 bfloat16 checkpoint 蒸馏。

    推荐理由:论文给出压缩后 4-bit 模型反超自身 bfloat16 版本的基准对比,以及 QAH 与 QAT 的训练稳定性差异。

  2. Mistral AI40

    Mistral 与 HUMAIN 达成战略合作,推进沙特及中东主权 AI

    Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发和 AI 解决方案部署,合作规模达数亿欧元。双方将优先聚焦网络安全与语音领域,并计划开发阿拉伯语表现强劲的前沿模型,Mistral 还将探索使用 HUMAIN 数据中心基础设施。双方计划在沙特制定联合市场策略,面向受监管行业提供 AI 解决方案。

8月21日周五
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.2 倍

    Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。

    推荐理由:Liquid AI 给出三个 LFM2.5 模型的 DSpark 草稿模型与实测加速数据,读者可据此判断端侧推理的可用性。

8月18日周二
  1. Hugging Face Blog38

    Hugging Face 推出约束感知 GPU 分配器:同集群利用率最高提升 33 个百分点

    Hugging Face 构建了约束感知的 GPU 分配器,在七个基准场景中与 FIFO 调度器对比,相同硬件和负载下 GPU 利用率最高提升 33 个百分点,优先级加权产出在所有场景中均上升,最高提升 105%。在五个真实争用场景中,利用率从 52–85% 提升至 72–88%,优先级加权价值提升 24.6% 至 105.1%,平均 52%。

8月13日周四
8月11日周二
  1. Mistral AI62

    Mistral 推出区域推理端点与优先级服务,并接入 GLM-5.2 等第三方开源模型

    Mistral 宣布 Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行,同时 Mistral Priority Tier 进入公开预览,提供自定义速率限制和带 SLA 的可用性承诺。

    推荐理由:Mistral 把区域推理端点、优先级服务和第三方开源模型接入放在同一套基础设施上,读者可据此判断欧洲主权 AI 的落地路径。

  2. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开放权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。

8月10日周一
8月6日周四
8月4日周二
  1. Microsoft Research71

    微软研究院开源 Orchard:可扩展智能体 AI 框架

    微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用于软件工程、网页导航和个人助理三类智能体任务,并支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练。

    推荐理由:微软研究院开源 Orchard 框架,用约 3B 激活参数在 SWE-bench Verified 上达到 69.7%,读者可据此判断小模型智能体的训练成本与可行性。

8月3日周一
7月30日周四
  1. Hugging Face Blog22

    GPU 管理:为什么闲置 GPU 是新的停场飞机

    Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能水平。GPU 按日历小时计费,却只按计算小时产出,企业自购 GPU 后问题从"能否买到"变成"能否让它们保持忙碌"。文章以航空业停场飞机作类比,强调集群即使满载也可能浪费大部分潜力,因为 GPU 全天运行而需求并不持续。

7月29日周三
7月22日周三
7月16日周四