跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

173条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 1–20 条 · 共 173 条
今天10月20日周二
  1. Hugging Face Blog60

    Hugging Face 推出 TorchNeuron,让模型在 AWS Trainium 上原生运行

    Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 直接支持,10 月 20 日起以公开 beta 形式提供,可通过 pip install torch-neuronx 安装。

    推荐理由:原文给出 Trainium 原生后端在 Transformers、Diffusers、TRL 中的支持范围与迁移方式,可据此判断现有训练推理脚本的改动量。

10月18日周日
  1. NVIDIA Blog60

    NVIDIA RTX Spark 笔记本上市,起售价 2399 美元

    NVIDIA RTX Spark 笔记本已上市,搭载 Blackwell RTX GPU 与 Grace CPU,最高 1 petaflop AI 算力和 128GB 统一内存,起售价 2399 美元。华硕、戴尔、惠普、联想、微软和微星首批推出该机型,NVIDIA 在北京、柏林、首尔、旧金山、台北和伊斯坦布尔等地举办上市活动,黄仁勋在柏林现场现身。

    推荐理由:原文给出 RTX Spark 笔记本的规格、起售价和上市渠道,读者可据此判断本地 AI 的硬件门槛。

10月16日周五
  1. Hugging Face Blog88

    Reflection 发布 Beam:501B 开源 MoE 模型,1M 上下文,Apache 2.0

    美国新实验室 Reflection 在 Hugging Face 发布首个模型 Beam,这是一个 501B 参数的 MoE 大语言模型,每 token 激活 23B,支持 1M token 上下文,采用 Apache 2.0 许可,聚焦编码与智能体场景。

    推荐理由:原文给出 501B MoE 模型的架构细节、多精度基准与 vLLM/SGLang 部署配方,可据此判断自托管前沿模型的硬件门槛。

  2. Microsoft Research71

    微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明 zkVM

    微软研究院发布零知识虚拟机 Magnetar,可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程,安全性仅依赖 SHA-256、SHA-3 等标准哈希函数,无需椭圆曲线、格密码、可信设置或未证明的纠错码猜想。

    推荐理由:微软研究院公开 Magnetar zkVM 的设计与基准数据,读者可了解零知识证明在通用程序上的效率与密码学取舍。

10月15日周四
  1. Google Research62

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及新提出的 GeoExpertQueries、GeoKTools 四个基准上评估了四种智能体配置,并开源两个新基准的开发集。

    推荐理由:Google 公开地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的真实场景测试结果。

10月14日周三
  1. AWS Machine Learning Blog62

    Anchor Browser 集成 AgentCore payments,让 AI 智能体自动完成 x402 付费

    Anchor Browser 与 Amazon Bedrock AgentCore payments 集成,让 AI 智能体在浏览器会话内自动处理 x402 协议的 HTTP 402 付费请求,该方案已上线 AWS Marketplace。

    推荐理由:原文给出 x402 支付在浏览器会话内的完整接入方式,读者可据此判断智能体自动付费的工程边界。

  2. The Decoder85

    Gemini 4 Argon 全球上线,成为 Google 最强前沿模型

    Google 全球上线 Gemini 4 Argon,开发者可通过 AI Studio 和 Gemini 平台的 API 使用,AI Ultra 订阅者可在 Google Antigravity 中使用,Ultra 和 Pro 订阅者可通过 Gemini 应用和 Google 搜索的 AI 模式访问。

    推荐理由:材料给出 Argon 的全球开放范围、定价与自报工程数据,可据此判断它在 Google 模型序列中的位置。

10月13日周二
  1. NVIDIA Blog76

    NVIDIA RTX Spark 笔记本 10 月 16 日上市,首发配套本地 AI 智能体与 Nemotron 3.5 Bolt 74B

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存、1 petaflop AI 算力,并同步推出面向本地智能体的软件与模型更新。

    推荐理由:NVIDIA 官方一次性列出 RTX Spark 首发时的本地智能体、模型与开发工具清单,可据此判断端侧 AI 工作流的可用边界。

  2. NVIDIA Blog62

    NVIDIA 在 OCP 全球峰会开放 Vera Rubin 架构,并发布 DSX AI Factory 开源组件

    NVIDIA 在 OCP 全球峰会上宣布将 Vera Rubin 机架和计算托盘设计通过开放的 NVIDIA MGX 架构贡献给 OCP,为系统厂商提供下一代 AI 工厂基础设施的共同基础。

    推荐理由:NVIDIA 在 OCP 峰会上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可据此了解 AI 工厂基础设施的开放标准进展。

10月8日周四
  1. NVIDIA Blog74

    NVIDIA 与微软发布 RTX Spark 笔记本及 Windows 智能体基础设施

    在旧金山微软 Windows AI 与 Surface 活动上,NVIDIA 与微软宣布为 Windows PC 上的 AI 智能体共同设计软硬件,并开放 RTX Spark 笔记本预售,10 月 16 日开售,紧凑型台式机 11 月上市。

    推荐理由:英伟达与微软把智能体运行所需的系统级容器和本地算力硬件一起端上桌面,读者可据此判断本地跑大模型的门槛变化。

10月6日周二
  1. AWS Machine Learning Blog62

    GLM 5.3 上线 Amazon Bedrock

    智谱(Z.ai)的 GLM 5.3 已在 Amazon Bedrock 上线,该模型为 753B 参数的 MoE 架构,面向编码与长程智能体任务,Z.ai 报告其在 CyberGym 基准上取得 84.5 分。

    推荐理由:GLM 5.3 在 Bedrock 上线,文中给出提示词缓存与跨区域推理的具体调用方式,可据此评估托管开源模型的落地成本。

10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统,Gboard 已采用

    Google 发布新一代联邦学习系统,用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型,隐私保证更强且准确率提升。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际部署效果。

  2. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,支持双机集群扩展本地 AI

    NVIDIA 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,可本地运行最高 1000 亿参数模型。

    推荐理由:原文给出 64GB 新配置的售价、上市时间与双机集群性能数据,读者可据此判断本地跑大模型的成本与扩展方式。

9月30日周三
  1. AWS Machine Learning Blog60

    在 Amazon Bedrock AgentCore Runtime Instances 上构建多智能体音乐制作流水线

    AWS 官方博客给出在 Amazon Bedrock AgentCore Runtime Instances 上部署三智能体音乐制作流水线的完整教程,三个智能体分别负责作曲、交付和合规审查,通过同一 runtimeSessionId 共享会话并共处一台 GPU 实例。

    推荐理由:以三智能体音乐制作流水线为例,展示 AgentCore Runtime Instances 的共享会话、GPU 与多日持久化用法。