跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

173条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 101–120 条 · 共 173 条
9月23日周二
9月22日周一
9月4日周四
  1. Hugging Face Blog60

    Google 发布 EmbeddingGemma 嵌入模型

    Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200 MB。

    推荐理由:308M 参数、2K 上下文、支持 100 多种语言,读者可据此判断端侧 RAG 与多语言检索的落地空间。

9月2日周二
  1. Hugging Face Blog60

    如何用 PyTorch 提前编译让 ZeroGPU Spaces 提速

    Hugging Face 发布教程,介绍如何在 ZeroGPU Spaces 中用 PyTorch 提前编译(AoT)替代 torch.compile,避免短生命周期进程反复编译,在 Flux、Wan、LTX 等模型上取得 1.3×–1.8× 加速。

    推荐理由:Hugging Face 官方给出 ZeroGPU 上 AoT 编译的完整接入步骤与实测加速数据,可直接迁移到自己的 Space。

8月13日周三
  1. Hugging Face Blog60

    Arm 与 ExecuTorch 0.7:KleidiAI 默认启用,让旧款 Arm 设备也能跑生成式 AI

    Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI,为基于 Arm CPU 的设备自动带来加速,Android 与跨平台开发者无需改动代码即可通过 ExecuTorch 和 XNNPack 获得性能优化。

    推荐理由:Arm 与 ExecuTorch 0.7 默认启用 KleidiAI,读者可据此判断旧款 Arm 设备跑端侧 LLM 的可行边界。

8月5日周二
  1. Hugging Face Blog88

    Hugging Face 欢迎 OpenAI 开源模型家族 gpt-oss

    OpenAI 发布开源权重模型家族 gpt-oss,包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b,均为 MoE 架构并采用 MXFP4 4-bit 量化,以 Apache 2.0 许可发布。

    推荐理由:Hugging Face 汇总了 gpt-oss 两个开源模型的参数、量化方案与各推理框架的适配细节,便于判断本地部署门槛。

  2. OpenAI News88

    OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 两款开放权重模型

    OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开放权重语言模型,采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开放模型,具备较强的工具调用能力,并针对消费级硬件的高效部署做了优化。

    推荐理由:OpenAI 开源两款权重模型并给出 Apache 2.0 许可,读者可据此判断本地部署与工具调用的可选空间。

7月30日周三
7月23日周三
  1. Hugging Face Blog62

    用 Diffusers 和 PEFT 实现 Flux 的快速 LoRA 推理

    Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度,在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速,并借助 hotswap 避免重新编译。

    推荐理由:原文给出 Flux LoRA 推理的完整优化配方与实测数据,读者可据此在 H100 或消费级 GPU 上复现加速。

7月22日周二
  1. OpenAI News62

    OpenAI 与 Oracle 达成 4.5 GW Stargate 数据中心合作

    OpenAI 与 Oracle 达成协议,将在美国开发 4.5 GW 的额外 Stargate 数据中心容量。OpenAI 称该投资将创造就业、加速美国再工业化,并推进美国 AI 领导地位,同时是 Stargate 这一 AI 基础设施平台的重要里程碑。

    推荐理由:OpenAI 与 Oracle 新增 4.5 GW Stargate 数据中心容量,读者可了解其美国 AI 基础设施扩张规模。

  2. Hugging Face Blog62

    NVIDIA NIM 在 Hugging Face 上支持超 10 万个 LLM 快速部署

    NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上支持超过 100,000 个 LLM 的快速可靠部署。NIM 提供单个 Docker 容器,自动识别模型格式、架构与量化格式(如 FP16、FP8、INT4),并在 NVIDIA TensorRT-LLM、vLLM 和 SGLang 之间选择推理后端,无需手动配置。

    推荐理由:NIM 用单个容器自动识别模型格式并选择推理后端,读者可据此判断多模型部署流程能简化到什么程度。

7月15日周二
  1. Hugging Face Blog62

    Hugging Face 将 Hub 存储从 Git LFS 迁移到 Xet

    Hugging Face 官方宣布 Hub 存储后端从 Git LFS 迁移到 Xet,已有 50 万个仓库、20 PB 数据完成迁移,超过 100 万用户在用。迁移通过 Git LFS Bridge 和后台迁移流程实现,旧客户端仍可正常上传下载,无需改变工作流。从本月起 Xet 将向所有用户开放,现有仓库会自动迁移,新仓库默认启用 Xet,后续计划开源 Xet 协议及整套基础设施。

    推荐理由:Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节,可供理解大规模存储迁移的兼容与扩容方案。

6月11日周三
6月4日周三
  1. Mistral AI60

    Mistral 发布企业级 AI 编码助手 Mistral Code

    Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量或气隙本地 GPU 部署,代码留在企业边界内。

    推荐理由:Mistral 把模型、IDE 插件与本地部署打包成企业级编码助手,读者可据此判断私有化编码方案的取舍。

6月3日周二
5月28日周三
  1. Mistral AI62

    Mistral 发布首个代码专用嵌入模型 Codestral Embed

    Mistral AI 发布 Codestral Embed,这是其首个专为代码设计的嵌入模型,在真实代码检索任务上优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。

    推荐理由:Mistral 首款代码嵌入模型给出了多维度与 int8 量化的取舍数据,可据此评估代码检索的存储成本。

5月27日周二
5月15日周四
5月7日周三