跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

173条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 81–100 条 · 共 173 条
2月26日周四
2月20日周五
2月18日周三
  1. Hugging Face Blog62

    Gradio 6 的 gr.HTML 支持自定义模板与 JS 交互

    Gradio 6 为 gr.HTML 加入自定义模板、作用域 CSS 和 JavaScript 交互能力,可在单个 Python 文件中完成前端、后端与状态管理,无需构建步骤即可部署到 Hugging Face Spaces。

    推荐理由:原文给出 gr.HTML 的模板与状态同步写法,读者可据此判断单文件自定义组件的可行边界。

2月13日周五
  1. Hugging Face Blog66

    Hugging Face 发布 CUDA kernel Agent 技能,Claude 与 Codex 为 LTX-Video 和 Qwen3-8B 生成可用内核

    Hugging Face 构建了一个 Agent 技能,教编码智能体编写生产级 CUDA kernel,并用 Claude 和 Codex 在 diffusers 的 LTX-Video 与 transformers 的 Qwen3-8B 两个真实目标上端到端生成了可用的 kernel、PyTorch 绑定和基准脚本。

    推荐理由:Hugging Face 把 CUDA kernel 开发经验封装成 Agent 技能,并给出两个真实模型的端到端基准,读者可据此判断这类技能的实际收益。

2月9日周一
  1. Hugging Face Blog66

    Transformers.js v4 发布并上线 NPM

    Transformers.js v4 已在 NPM 发布,可通过 npm i @huggingface/transformers 安装,距 2025 年 3 月启动开发约一年。

    推荐理由:官方给出 v4 的 WebGPU 运行时重写、构建提速与包体积变化,可据此判断浏览器端推理的工程收益。

2月5日周四
1月14日周三
1月6日周二
1月5日周一
12月17日周三
  1. Mistral AI66

    Mistral 发布 OCR 3,表单与手写识别胜率较上一代提升 74%

    Mistral 发布文档识别模型 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与每千页定价,便于评估替换成本。

12月11日周四
  1. Hugging Face Blog62

    llama.cpp 新增模型管理功能:router 模式支持动态加载与切换模型

    llama.cpp server 新增 router 模式,可在不重启服务的情况下动态加载、卸载和切换多个模型。该模式采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型;支持自动发现缓存或 --models-dir 目录中的 GGUF 文件、按需加载、LRU 淘汰(默认 --models-max 4)以及按请求中的 model 字段路由。

    推荐理由:llama.cpp server 新增 router 模式,读者可据此了解本地多模型动态加载与切换的具体用法。

12月1日周一
11月5日周三
  1. Google Research62

    Google 发布 Project Suncatcher 预印本,探索太空 AI 基础设施设计

    Google 公布研究项目 Project Suncatcher,设想由太阳能卫星搭载 TPU 并通过自由空间光链路互联,构成可扩展的太空 AI 计算基础设施,相关预印本论文题为 Towards a future space-based, highly scalable AI infrastructure system design。

    推荐理由:Google 公开了太空数据中心预印本,给出卫星互联、轨道与 TPU 抗辐射的实测数据,可据此判断这一构想的工程边界。

11月3日周一
  1. OpenAI News72

    AWS 与 OpenAI 宣布多年战略合作

    OpenAI 与 AWS 达成多年期、380 亿美元的战略合作,AWS 将提供基础设施与算力,用于支撑 OpenAI 下一代模型。合作规模为 380 亿美元,属于多年期协议。

    推荐理由:OpenAI 与 AWS 达成 380 亿美元多年合作,读者可了解其算力来源与基础设施布局的变化。

10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变化:中国开源模型与国产芯片的相互牵引

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。

10月24日周五
  1. Mistral AI62

    Mistral 发布 AI Studio 生产级 AI 平台

    Mistral 发布 AI Studio,一个面向企业团队的生产级 AI 平台,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。

    推荐理由:Mistral 把自家大规模系统的可观测、执行与治理能力打包成企业平台,可对照其三大支柱理解生产化 AI 的落地路径。

10月13日周一
  1. OpenAI News71

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器。双方还将共同开发下一代系统与以太网方案,目标是在 2029 年前支撑可扩展、高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 合作自研加速器并规划 10 吉瓦部署,读者可了解其算力自建路径与时间表。

10月6日周一
10月2日周四
  1. Hugging Face Blog62

    用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践

    Hugging Face 博客发布三部分系列文章,记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。

    推荐理由:记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程,对端侧部署有可迁移的参考价值。

10月1日周三