Nvidia 发布 Nemotron 3.5 Super VL 与两款 Bolt 开放权重模型
Nvidia 发布面向常驻智能体和边缘计算的开放权重模型,其中 Nemotron 3.5 Super VL 为 1200 亿参数的企业级模型,Nvidia 称其在指令遵循和工具调用任务上可达到接近 Nemotron 3 Ultra 的准确率。
Nvidia 发布面向常驻智能体和边缘计算的开放权重模型,其中 Nemotron 3.5 Super VL 为 1200 亿参数的企业级模型,Nvidia 称其在指令遵循和工具调用任务上可达到接近 Nemotron 3 Ultra 的准确率。
Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,拥有 8160 亿参数和 100 万 token 上下文窗口,原生多模态,面向复杂编码任务和智能体工作。
Meta 发布 Muse Spark Open 模型,称其是迄今能力最强的美国开放权重模型,也是同类中首个能在两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 上桌面运行。
推荐理由:Meta 与 Apple 罕见合作,让 816B 参数开源模型可在两台 Mac Studio 上本地运行,可观察端侧大模型的部署边界。
Nvidia 发布 Nemotron 3.5 Super VL,这是一个 120B 参数的开源多模态模型,面向持续在后台运行的企业智能体,处理文本、图像、文档和视频。
NVIDIA 发布 Nemotron 3.5 Super VL,这是一个 120B 参数开放模型,面向常驻智能体任务,官方称其多模态智能体任务准确率与自家最大推理模型相当,参数量约为其五分之一,吞吐量最高为同类模型的 5 倍。
推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出参数、量化与部署入口,便于判断本地智能体的选型空间。
Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧私有智能体,会先思考再作答并调用工具。
推荐理由:Liquid AI 给出 24B-A2B 的端侧推理速度与智能体基准对比,可据此判断本地智能体的可行边界。
Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和 d1-omni-600M(实验性)。
推荐理由:Liquid AI 开源两款决策模型,给出端侧延迟与七项基准对比,可据此判断小模型做结构化决策的可行性。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可把文本、图像、音频和视频映射到统一嵌入空间。
推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用等细节,可据此判断端侧多模态检索的落地边界。
Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量。该模型参数量为 740M,Google 称其在多模态嵌入基准上超过参数量两倍的竞品,在 Massive Text Embedding Benchmark (Code) 上得分 78.68,较前代 68.76 提升近 10 分。
Google DeepMind 发布多语言手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能,首批支持美国手语(ASL)转英文。
推荐理由:官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可了解手语 AI 从实验室进入消费产品的技术取舍。
Google Research 发布一种新架构,将多 Token 预测(MTP)头挂接到已冻结的 Gemini Nano v3 模型上,在 Pixel 9 和 10 系列上实现开箱即用的加速。
推荐理由:Google 把 MTP 头挂到冻结的 Gemini Nano v3 上,读者可了解端侧推理在内存与能耗约束下的具体优化路径。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,介于边缘端 E4B 与 26B MoE 之间,可在 16GB VRAM 或统一内存上本地运行。
推荐理由:Gemma 4 12B 用无编码器架构把多模态能力压到 16GB 显存,读者可据此判断本地智能体的可行边界。
H Company 发布 Holo3.1 系列 computer-use 模型,基于 Qwen 家族,覆盖 0.8B、4B、9B 和 35B-A3B 四种尺寸,并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重用于本地推理。
推荐理由:Holo3.1 给出跨环境、跨框架与本地量化部署的具体数据,可据此判断 computer-use 智能体在端侧落地的可行性。
Google DeepMind 发布 Gemma 4 开源模型家族,包含 E2B、E4B、26B MoE 和 31B Dense 四个尺寸,采用 Apache 2.0 许可。
推荐理由:Gemma 4 以四个尺寸覆盖端侧到工作站,并给出 Apache 2.0 许可与首日工具支持,读者可据此判断本地部署与微调的选择空间。
Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线,采用 Apache 2 许可,支持图像、文本和音频输入并生成文本,共五个尺寸:E2B、E4B、12B Unified、31B 和 26B A4B。
推荐理由:Gemma 4 五档尺寸与 12B 无编码器统一多模态的架构取舍,为端侧多模态选型提供了具体参照。
Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。
推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的当前水位。
IBM 发布 Granite 4.0 家族中最小的一批模型 Granite 4.0 Nano,包含 4 个 instruct 模型及对应 base 版本,参数规模为 ~350M 和 ~1.5B,采用 hybrid-SSM 与 Transformer 两种架构,以 Apache 2.0 许可开源并原生支持 vLLM、llama.cpp 和 MLX。
Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200 MB。
推荐理由:308M 参数、2K 上下文、支持 100 多种语言,读者可据此判断端侧 RAG 与多语言检索的落地空间。
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 和 Google AI Edge 等主流开源库中可用,发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸,各有 base 和 instruct 两个版本。
推荐理由:原文给出 Gemma 3n 在主流开源库的落地方式与端侧内存占用,读者可据此判断本地多模态部署的可行性。
Falcon-H1 系列发布六个开源模型,参数从 0.5B 到 34B,每个尺寸都有 base 和 instruct 版本,采用 Apache 2.0 许可。模型在混合 mixer 块中并行组合注意力与 Mamba-2 头,支持 256K 上下文和 18 种语言,官方称 0.5B 版本性能接近 2024 年的典型 7B 模型。
推荐理由:Falcon-H1 用注意力与 SSM 并行混合架构,在 0.5B 到 34B 六个尺寸上给出效率与长上下文表现,可据此判断小模型部署的取舍。
Falcon-Edge 系列发布,基于 BitNet 架构,提供 1B 和 3B 两种参数规模,每种都有 base 和指令微调版本,权重以三元格式({-1, 0, 1})存储。
推荐理由:Falcon-Edge 用单次预训练同时产出 bfloat16 与三元量化版本,读者可据此了解 1.58bit 模型在端侧部署与微调上的新路径。
Mistral AI 发布 Mistral Small 3.1,在 Mistral Small 3 基础上提升文本性能与多模态理解,上下文窗口扩展至 128k tokens,推理速度达 150 tokens/秒,并以 Apache 2.0 许可开源。
推荐理由:官方给出 Mistral Small 3.1 的多模态、128k 上下文与单卡可跑规格,便于判断小模型端侧部署的取舍。
Hugging Face 发布 SmolVLM2 系列视频理解模型,包含 2.2B、500M 和 256M 三个参数规模,并称 500M 与 256M 是迄今最小的视频语言模型。
推荐理由:Hugging Face 发布三档小尺寸视频理解模型,并给出 MLX 与 Transformers 的即用示例,可据此判断端侧视频理解的门槛变化。
Mistral AI 发布 Mistral Small 3,一个面向低延迟优化的 24B 参数模型,以 Apache 2.0 许可开源,同时提供预训练和指令微调两个 checkpoint。
推荐理由:24B 参数在 Apache 2.0 下对标三倍体量模型,并给出量化后单卡本地部署的具体条件,便于判断端侧选型。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B,面向设备端与边缘计算场景。
推荐理由:Mistral 在 7B 发布一周年推出两款端侧小模型,给出定价与许可,可据此判断本地推理的选型空间。
Meta 发布 Llama 3.2 系列共 10 个开放权重模型,包括 5 个多模态模型和 5 个纯文本模型,均已上线 Hugging Face。
推荐理由:Hugging Face 与 Meta 同步放出 10 个开放权重模型,并给出端侧运行与单卡微调的具体路径。
Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了三个尺寸小模型的训练数据配比与评测对比,可据此判断端侧小模型的取舍。