跳到正文

#部署/工程

今日 9 条
11月22日周六
11月20日周四
11月17日周一
11月13日周四
11月12日周三
  1. Google Research38

    Google 发布 JAX-Privacy 1.0:面向大规模机器学习的差分隐私工具库

    Google 发布 JAX-Privacy 1.0,这是一个基于 JAX 构建的差分隐私工具库,可高效实现 DP-SGD、DP-FTRL 等算法,并支持数据与模型并行的大规模训练。新版本重新设计以提升模块化,集成 Google 最新的 DP 训练与审计研究成果,支持微调 LLM 等现代工作流。该库自 2022 年推出以来已用于 Google 内部生产集成,现向更广泛社区开放。

11月5日周三
  1. Google Research62

    Google 发布 Project Suncatcher 预印本,探索太空 AI 基础设施设计

    Google 公布研究项目 Project Suncatcher,设想由太阳能卫星搭载 TPU 并通过自由空间光链路互联,构成可扩展的太空 AI 计算基础设施,相关预印本论文题为 Towards a future space-based, highly scalable AI infrastructure system design。

    推荐理由:Google 公开了太空数据中心预印本,给出卫星互联、轨道与 TPU 抗辐射的实测数据,可据此判断这一构想的工程边界。

11月3日周一
  1. OpenAI News72

    AWS 与 OpenAI 宣布多年战略合作

    OpenAI 与 AWS 达成多年期、380 亿美元的战略合作,AWS 将提供基础设施与算力,用于支撑 OpenAI 下一代模型。合作规模为 380 亿美元,属于多年期协议。

    推荐理由:OpenAI 与 AWS 达成 380 亿美元多年合作,读者可了解其算力来源与基础设施布局的变化。

10月30日周四
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变化:中国开源模型与国产芯片的相互牵引

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。

10月24日周五
  1. Mistral AI62

    Mistral 发布 AI Studio 生产级 AI 平台

    Mistral 发布 AI Studio,一个面向企业团队的生产级 AI 平台,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。

    推荐理由:Mistral 把自家大规模系统的可观测、执行与治理能力打包成企业平台,可对照其三大支柱理解生产化 AI 的落地路径。

10月16日周四
10月15日周三
10月13日周一
  1. OpenAI News71

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器。双方还将共同开发下一代系统与以太网方案,目标是在 2029 年前支撑可扩展、高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 合作自研加速器并规划 10 吉瓦部署,读者可了解其算力自建路径与时间表。

10月11日周六
10月6日周一
10月2日周四
  1. Hugging Face Blog62

    用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践

    Hugging Face 博客发布三部分系列文章,记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。

    推荐理由:记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程,对端侧部署有可迁移的参考价值。

10月1日周三
9月29日周一
9月23日周二
9月22日周一
9月19日周五
9月17日周三
9月11日周四
9月4日周四
  1. Hugging Face Blog60

    Google 发布 EmbeddingGemma 嵌入模型

    Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200 MB。

    推荐理由:308M 参数、2K 上下文、支持 100 多种语言,读者可据此判断端侧 RAG 与多语言检索的落地空间。

9月2日周二
  1. Hugging Face Blog60

    如何用 PyTorch 提前编译让 ZeroGPU Spaces 提速

    Hugging Face 发布教程,介绍如何在 ZeroGPU Spaces 中用 PyTorch 提前编译(AoT)替代 torch.compile,避免短生命周期进程反复编译,在 Flux、Wan、LTX 等模型上取得 1.3×–1.8× 加速。

    推荐理由:Hugging Face 官方给出 ZeroGPU 上 AoT 编译的完整接入步骤与实测加速数据,可直接迁移到自己的 Space。

8月18日周一
8月13日周三
  1. Hugging Face Blog60

    Arm 与 ExecuTorch 0.7:KleidiAI 默认启用,让旧款 Arm 设备也能跑生成式 AI

    Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI,为基于 Arm CPU 的设备自动带来加速,Android 与跨平台开发者无需改动代码即可通过 ExecuTorch 和 XNNPack 获得性能优化。

    推荐理由:Arm 与 ExecuTorch 0.7 默认启用 KleidiAI,读者可据此判断旧款 Arm 设备跑端侧 LLM 的可行边界。

8月12日周二
8月8日周五
8月7日周四
8月5日周二
  1. Hugging Face Blog88

    Hugging Face 欢迎 OpenAI 开源模型家族 gpt-oss

    OpenAI 发布开源权重模型家族 gpt-oss,包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b,均为 MoE 架构并采用 MXFP4 4-bit 量化,以 Apache 2.0 许可发布。

    推荐理由:Hugging Face 汇总了 gpt-oss 两个开源模型的参数、量化方案与各推理框架的适配细节,便于判断本地部署门槛。

  2. OpenAI News88

    OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 两款开放权重模型

    OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开放权重语言模型,采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开放模型,具备较强的工具调用能力,并针对消费级硬件的高效部署做了优化。

    推荐理由:OpenAI 开源两款权重模型并给出 Apache 2.0 许可,读者可据此判断本地部署与工具调用的可选空间。

7月31日周四
7月30日周三
7月25日周五
7月23日周三
  1. Hugging Face Blog62

    用 Diffusers 和 PEFT 实现 Flux 的快速 LoRA 推理

    Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度,在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速,并借助 hotswap 避免重新编译。

    推荐理由:原文给出 Flux LoRA 推理的完整优化配方与实测数据,读者可据此在 H100 或消费级 GPU 上复现加速。