AWS 推出 Trust in Depth:让 AI 智能体获得更多自主权而不失控
AWS 提出 Trust in Depth 框架,用独立分层的验证机制让 AI 智能体在可验证时自主行动、把人类判断留给真正需要决策的环节。
AWS 提出 Trust in Depth 框架,用独立分层的验证机制让 AI 智能体在可验证时自主行动、把人类判断留给真正需要决策的环节。
EmbeddingGemma 2 采用 Apache 2.0 许可,Simon Willison 认为嵌入模型不应使用闭源、专有、仅托管的方案。嵌入模型通常需要计算并存储数千甚至数百万条嵌入向量,一旦厂商停供该模型,用户就得为重新计算这些存量向量付费。他本人不愿自行托管模型,更愿意付费使用托管服务,同时保留在停供时自行运行开放权重版本或另寻供应商的余地。
Simon Willison 呼吁按量付费的 API 和服务默认设置硬性预算上限,即达到 $X/月后直接切断并返回错误,而非仅发警告邮件。他指出 AWS 已在 9 月 16 日推出月度支出上限功能,项目超限后当月暂停,但该功能目前仅向有限客户开放;Google Cloud 已于 7 月推出类似的 Spend Caps。他认为企业和个人更愿意看到报错,而不是收到 $10,000+ 的意外账单。
MIT Technology Review 报告指出,企业 AI 正从工具转向"智能体式转变"的运营模式,2026 年全球 AI 投资预计达 2.5 万亿美元,同比增长 44%。报告认为企业 AI 的扩展瓶颈是结构性的,领先企业先重设计流程再选模型,并以数据就绪而非数据规模取胜。报告建议重建数据基础设施、采用可组合架构,并解决 AI 主权问题。
HPE 提出,当 AI 从试验走向客服、IT、研究等常驻生产工作负载,按 token 逐次消费的模式会让支出难以预测,企业需评估自身在何种持续用量下自建容量比按请求购买更经济。
NVIDIA 提出 AI 安全是工程问题,需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体之外强制执行策略并提供沙箱执行,Cisco DefenseClaw 在其上增加治理层,JFrog 则集成 OpenShell 扫描和验证智能体技能。
OpenAI CFO Sarah Friar 阐述了芯片、算力、模型与产品各环节进步如何叠加,从而以更大规模和更低成本交付更有用的智能。
Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能水平。GPU 按日历小时计费,却只按计算小时产出,企业自购 GPU 后问题从"能否买到"变成"能否让它们保持忙碌"。文章以航空业停场飞机作类比,强调集群即使满载也可能浪费大部分潜力,因为 GPU 全天运行而需求并不持续。
UC Berkeley 团队提出,随着推理价格从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1、部分低于 $0.10,数据系统需应对三大新挑战:为智能体设计(Data Systems For Agents)、运行智能体集群(Of Agents)、由智能体合成(By Agents)。
伯克利 AI 研究团队梳理了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并行子任务、生成多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等方法,指出多数方案仍由外部固定并行结构,而不同问题需要不同并行度。
中国开源模型近一年几乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均属此类,目标是在成本可控下实现可持续部署。开源活动从文本扩展到多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。
推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了他在 transformers 库上的工作:通过一行代码将 PyTorch 模型导出为 ONNX 格式,帮助 ML 工程师获得更低延迟和更高吞吐。他还与 Leandro von Werra、Thom Wolf 合著了《NLP with Transformers》一书,并谈到大规模模型评估等话题。
微软和 NVIDIA 发布 Megatron-Turing NLG 530B,号称全球最大最强的生成式语言模型,但复现成本接近 1 亿美元,单台 DGX A100 服务器售价 19.9 万美元、功耗达 6.5 千瓦。
Hugging Face 发文指出,机器学习正像十年前的 DevOps 一样走向"机器学习即代码",软件工程的最佳实践应被数据科学与机器学习采纳。Kaggle 调查显示 75% 受访者使用云服务、超 45% 使用企业 ML 平台,前三为 Amazon SageMaker、Databricks 和 Azure ML Studio。