跳到正文

#部署/工程

今日 0 条
10月16日周五
  1. Hugging Face Blog88

    Reflection 发布 Beam:501B 开源 MoE 模型,1M 上下文,Apache 2.0

    美国新实验室 Reflection 在 Hugging Face 发布首个模型 Beam,这是一个 501B 参数的 MoE 大语言模型,每 token 激活 23B,支持 1M token 上下文,采用 Apache 2.0 许可,聚焦编码与智能体场景。

    推荐理由:原文给出 501B MoE 模型的架构细节、多精度基准与 vLLM/SGLang 部署配方,可据此判断自托管前沿模型的硬件门槛。

10月14日周三
  1. The Decoder85

    Gemini 4 Argon 全球上线,成为 Google 最强前沿模型

    Google 全球上线 Gemini 4 Argon,开发者可通过 AI Studio 和 Gemini 平台的 API 使用,AI Ultra 订阅者可在 Google Antigravity 中使用,Ultra 和 Pro 订阅者可通过 Gemini 应用和 Google 搜索的 AI 模式访问。

    推荐理由:材料给出 Argon 的全球开放范围、定价与自报工程数据,可据此判断它在 Google 模型序列中的位置。

10月11日周日
10月10日周六
  1. The Decoder71

    微软发布 Decision-1 决策模型,基于 Qwen3.5-9B

    微软推出自研决策模型 Decision-1,用于分类、评估和路由决策,官方称其有潜力引导和控制智能体应对复杂环境。该模型基于 Qwen3.5-9B,微软称其在覆盖近 15 万道题的 36 项基准测试中准确率最高,并以 83.5% 准确率、85 ms 延迟领先 Jev 1.13.0,速度是第二名 H2O-Lightning-4B 的 2.5 倍。

10月8日周四
10月6日周二
10月3日周六
  1. TechCrunch · AI58

    AWS 开源决策模型 Strands Decider 2B,基于千问 Qwen3.5-2B

    AWS 发布开源决策模型 Strands Decider 2B,用于在预设选项中做选择并给出置信度,速度更快、成本更低,且小到可本地运行。该模型基于千问 Qwen3.5-2B 的躯干构建,不生成文本而是输出经过校准的选择,灵感来自 TypeSafe 的 Jev,由 AWS 杰出工程师 Marc Brooker 发起,曾在同尺寸模型的 Jevbench 排名上短暂登顶。

9月24日周四
9月22日周二
8月21日周五
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.2 倍

    Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。

    推荐理由:Liquid AI 给出三个 LFM2.5 模型的 DSpark 草稿模型与实测加速数据,读者可据此判断端侧推理的可用性。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开放权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。

7月30日周四
6月27日周六
6月11日周四
6月2日周二
6月1日周一
  1. Hugging Face Blog60

    JetBrains 发布 Mellum2:12B MoE 模型,每 token 仅激活 2.5B 参数

    JetBrains 发布 Mellum2,一个从零训练、面向自然语言与代码的 12B 参数 MoE 模型,每个 token 仅激活 2.5B 参数,采用 Apache 2.0 许可。官方称其相比同规模模型推理速度超过 2 倍,可用于路由、RAG、摘要、子智能体和高吞吐编码场景,模型已在 Hugging Face 开放下载。

    推荐理由:JetBrains 开源 12B MoE 模型,激活 2.5B 参数并主打低延迟,可据此判断它在多模型系统中的定位。

5月19日周二
4月29日周三
  1. Hugging Face Blog60

    Granite 4.1 LLM 是如何构建的:五阶段预训练、SFT 与多阶段 RL 全流程

    IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

    推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月9日周四
  1. Hugging Face Blog62

    Overworld 发布 Waypoint-1.5 实时视频世界模型,消费级 GPU 可跑 720p 60FPS

    Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档位,后续将支持 Apple Silicon Mac。

    推荐理由:Waypoint-1.5 给出 720p 与 360p 两档本地实时世界模型,读者可据此判断消费级硬件跑交互式生成世界的门槛。

1月6日周二
9月4日周四
  1. Hugging Face Blog60

    Google 发布 EmbeddingGemma 嵌入模型

    Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200 MB。

    推荐理由:308M 参数、2K 上下文、支持 100 多种语言,读者可据此判断端侧 RAG 与多语言检索的落地空间。

8月5日周二
  1. Hugging Face Blog88

    Hugging Face 欢迎 OpenAI 开源模型家族 gpt-oss

    OpenAI 发布开源权重模型家族 gpt-oss,包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b,均为 MoE 架构并采用 MXFP4 4-bit 量化,以 Apache 2.0 许可发布。

    推荐理由:Hugging Face 汇总了 gpt-oss 两个开源模型的参数、量化方案与各推理框架的适配细节,便于判断本地部署门槛。

  2. OpenAI News88

    OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 两款开放权重模型

    OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开放权重语言模型,采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开放模型,具备较强的工具调用能力,并针对消费级硬件的高效部署做了优化。

    推荐理由:OpenAI 开源两款权重模型并给出 Apache 2.0 许可,读者可据此判断本地部署与工具调用的可选空间。

6月28日周六
5月28日周三
  1. Mistral AI62

    Mistral 发布首个代码专用嵌入模型 Codestral Embed

    Mistral AI 发布 Codestral Embed,这是其首个专为代码设计的嵌入模型,在真实代码检索任务上优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。

    推荐理由:Mistral 首款代码嵌入模型给出了多维度与 int8 量化的取舍数据,可据此评估代码检索的存储成本。

5月7日周三
1月30日周四
1月13日周一
  1. Mistral AI62

    Mistral AI 发布 Codestral 25.01 代码模型

    Mistral AI 发布 Codestral 25.01,采用更高效的架构和改进的 tokenizer,代码生成与补全速度约为原版 Codestral 的 2 倍,上下文长度 256k。

    推荐理由:Codestral 25.01 在 FIM 与多语言基准上给出与同量级模型的对比数据,可据此判断代码补全场景的选型。

12月18日周三
6月25日周二
4月18日周四
2月26日周一
2月21日周三
  1. Hugging Face Blog78

    Google 发布开源大模型 Gemma,Hugging Face 全面集成

    Google 发布开源大模型家族 Gemma,包含 2B 和 7B 两种尺寸,各有基础版和指令微调版,上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75,性能与 Mistral 7B 相当。

    推荐理由:Google 发布 Gemma 开源模型家族,读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。

12月11日周一
  1. Mistral AI88

    Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B

    Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可、开放权重的稀疏混合专家(SMoE)模型,同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。

    推荐理由:Mistral 放出 Apache 2.0 的稀疏 MoE 权重,并给出与 Llama 2 70B、GPT3.5 的对比,便于判断开源模型的成本性能取舍。

9月27日周三
  1. Mistral AI80

    Mistral AI 发布 7.3B 参数开源模型 Mistral 7B

    Mistral AI 发布 7.3B 参数的 Mistral 7B,采用 Apache 2.0 许可,可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码能力接近 CodeLlama 7B。

    推荐理由:官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可,读者可据此判断小参数模型的性价比与部署方式。

5月15日周一
  1. Hugging Face Blog62

    Hugging Face 将 RWKV 架构集成进 transformers 库

    Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库,该架构结合 RNN 与 Transformer 的优势,由 Bo Peng 主导、Stability AI 捐赠训练 GPU。

    推荐理由:RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合,并已接入 transformers 库,读者可据此判断长上下文场景的选型空间。