跳到正文

#部署/工程

今日 7 条
2月5日周四
1月27日周二
1月22日周四
1月21日周三
1月20日周二
1月15日周四
1月14日周三
1月9日周五
1月8日周四
1月6日周二
1月5日周一
12月17日周三
  1. Mistral AI66

    Mistral 发布 OCR 3,表单与手写识别胜率较上一代提升 74%

    Mistral 发布文档识别模型 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与每千页定价,便于评估替换成本。

12月12日周五
12月11日周四
  1. Hugging Face Blog62

    llama.cpp 新增模型管理功能:router 模式支持动态加载与切换模型

    llama.cpp server 新增 router 模式,可在不重启服务的情况下动态加载、卸载和切换多个模型。该模式采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型;支持自动发现缓存或 --models-dir 目录中的 GGUF 文件、按需加载、LRU 淘汰(默认 --models-max 4)以及按请求中的 model 字段路由。

    推荐理由:llama.cpp server 新增 router 模式,读者可据此了解本地多模型动态加载与切换的具体用法。

12月5日周五
12月1日周一
11月26日周三
11月25日周二
  1. Hugging Face Blog22

    从第一性原理理解 continuous batching

    Hugging Face 发布博客,从 attention 机制与 KV caching 出发,推导出 continuous batching 这一推理优化技术。该方法通过并行处理多个对话、完成即换出,最大化吞吐量,适用于高负载 LLM 服务场景。文章指出 attention 是 token 间唯一交互之处,其计算复杂度随序列长度呈平方增长。

  2. Hugging Face Blog50

    Tavily 如何打造达到 SOTA 的深度研究智能体

    Tavily 分享了其构建达到 SOTA 的深度研究智能体的经验,团队曾因旧架构假设成为瓶颈而推倒重来,历时七个月重建整个系统。其核心思路是简化编排逻辑、拥抱模型自主性,并借助 Tavily Advanced Search 在工具侧完成上下文工程,只返回最相关内容块以降低幻觉和延迟。团队还提出将工具输出蒸馏为反思、仅在生成最终结果时注入原始信息,以模拟人类的迭代式研究过程。

11月22日周六
11月20日周四
11月17日周一
11月13日周四
11月12日周三
  1. Google Research38

    Google 发布 JAX-Privacy 1.0:面向大规模机器学习的差分隐私工具库

    Google 发布 JAX-Privacy 1.0,这是一个基于 JAX 构建的差分隐私工具库,可高效实现 DP-SGD、DP-FTRL 等算法,并支持数据与模型并行的大规模训练。新版本重新设计以提升模块化,集成 Google 最新的 DP 训练与审计研究成果,支持微调 LLM 等现代工作流。该库自 2022 年推出以来已用于 Google 内部生产集成,现向更广泛社区开放。

11月5日周三
  1. Google Research62

    Google 发布 Project Suncatcher 预印本,探索太空 AI 基础设施设计

    Google 公布研究项目 Project Suncatcher,设想由太阳能卫星搭载 TPU 并通过自由空间光链路互联,构成可扩展的太空 AI 计算基础设施,相关预印本论文题为 Towards a future space-based, highly scalable AI infrastructure system design。

    推荐理由:Google 公开了太空数据中心预印本,给出卫星互联、轨道与 TPU 抗辐射的实测数据,可据此判断这一构想的工程边界。

11月3日周一
  1. OpenAI News72

    AWS 与 OpenAI 宣布多年战略合作

    OpenAI 与 AWS 达成多年期、380 亿美元的战略合作,AWS 将提供基础设施与算力,用于支撑 OpenAI 下一代模型。合作规模为 380 亿美元,属于多年期协议。

    推荐理由:OpenAI 与 AWS 达成 380 亿美元多年合作,读者可了解其算力来源与基础设施布局的变化。

10月30日周四
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变化:中国开源模型与国产芯片的相互牵引

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。

10月24日周五
  1. Mistral AI62

    Mistral 发布 AI Studio 生产级 AI 平台

    Mistral 发布 AI Studio,一个面向企业团队的生产级 AI 平台,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。

    推荐理由:Mistral 把自家大规模系统的可观测、执行与治理能力打包成企业平台,可对照其三大支柱理解生产化 AI 的落地路径。

10月16日周四
10月15日周三
10月13日周一
  1. OpenAI News71

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器。双方还将共同开发下一代系统与以太网方案,目标是在 2029 年前支撑可扩展、高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 合作自研加速器并规划 10 吉瓦部署,读者可了解其算力自建路径与时间表。

10月11日周六