跳到正文

#部署/工程

今日 0 条
10月15日周四
10月7日周三
  1. Simon Willison38

    EmbeddingGemma 2 采用 Apache 2.0 许可

    EmbeddingGemma 2 采用 Apache 2.0 许可,Simon Willison 认为嵌入模型不应使用闭源、专有、仅托管的方案。嵌入模型通常需要计算并存储数千甚至数百万条嵌入向量,一旦厂商停供该模型,用户就得为重新计算这些存量向量付费。他本人不愿自行托管模型,更愿意付费使用托管服务,同时保留在停供时自行运行开放权重版本或另寻供应商的余地。

10月4日周日
  1. Simon Willison36

    Simon Willison:默认硬性预算上限应成为所有按量付费服务的标配

    Simon Willison 呼吁按量付费的 API 和服务默认设置硬性预算上限,即达到 $X/月后直接切断并返回错误,而非仅发警告邮件。他指出 AWS 已在 9 月 16 日推出月度支出上限功能,项目超限后当月暂停,但该功能目前仅向有限客户开放;Google Cloud 已于 7 月推出类似的 Spend Caps。他认为企业和个人更愿意看到报错,而不是收到 $10,000+ 的意外账单。

10月2日周五
  1. MIT Technology Review · AI12

    MIT Technology Review:自主 AI 如何重新定义企业智能

    MIT Technology Review 报告指出,企业 AI 正从工具转向"智能体式转变"的运营模式,2026 年全球 AI 投资预计达 2.5 万亿美元,同比增长 44%。报告认为企业 AI 的扩展瓶颈是结构性的,领先企业先重设计流程再选模型,并以数据就绪而非数据规模取胜。报告建议重建数据基础设施、采用可组合架构,并解决 AI 主权问题。

9月29日周二
9月21日周一
8月25日周二
7月30日周四
  1. Hugging Face Blog22

    GPU 管理:为什么闲置 GPU 是新的停场飞机

    Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能水平。GPU 按日历小时计费,却只按计算小时产出,企业自购 GPU 后问题从"能否买到"变成"能否让它们保持忙碌"。文章以航空业停场飞机作类比,强调集群即使满载也可能浪费大部分潜力,因为 GPU 全天运行而需求并不持续。

7月7日周二
5月8日周五
  1. Berkeley AI Research31

    自适应并行推理:高效推理扩展的下一个范式

    伯克利 AI 研究团队梳理了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并行子任务、生成多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等方法,指出多数方案仍由外部固定并行结构,而不同问题需要不同并行度。

1月27日周二
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变化:中国开源模型与国产芯片的相互牵引

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。

4月13日周三
  1. Hugging Face Blog17

    Hugging Face 工程师 Lewis Tunstall 谈 transformers 与大规模模型评估

    Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了他在 transformers 库上的工作:通过一行代码将 PyTorch 模型导出为 ONNX 格式,帮助 ML 工程师获得更低延迟和更高吞吐。他还与 Leandro von Werra、Thom Wolf 合著了《NLP with Transformers》一书,并谈到大规模模型评估等话题。

10月26日周二
10月20日周三