跳到正文

#端侧

今日 1 条
今天10月20日周二
10月16日周五
  1. NVIDIA Blog74

    NVIDIA 扩展 Nemotron 家族,发布 120B 的 Super VL 与两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL,这是一个 120B 参数开放模型,面向常驻智能体任务,官方称其多模态智能体任务准确率与自家最大推理模型相当,参数量约为其五分之一,吞吐量最高为同类模型的 5 倍。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出参数、量化与部署入口,便于判断本地智能体的选型空间。

10月14日周三
10月8日周四
10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可把文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用等细节,可据此判断端侧多模态检索的落地边界。

  2. The Decoder68

    Google 发布 EmbeddingGemma 2 多模态嵌入模型

    Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量。该模型参数量为 740M,Google 称其在多模态嵌入基准上超过参数量两倍的竞品,在 Massive Text Embedding Benchmark (Code) 上得分 78.68,较前代 68.76 提升近 10 分。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能,首批支持美国手语(ASL)转英文。

    推荐理由:官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可了解手语 AI 从实验室进入消费产品的技术取舍。

6月27日周六
6月9日周二
6月2日周二
4月3日周五
4月2日周四
  1. Hugging Face Blog88

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线,采用 Apache 2 许可,支持图像、文本和音频输入并生成文本,共五个尺寸:E2B、E4B、12B Unified、31B 和 26B A4B。

    推荐理由:Gemma 4 五档尺寸与 12B 无编码器统一多模态的架构取舍,为端侧多模态选型提供了具体参照。

12月3日周三
  1. Mistral AI82

    Mistral 发布 Mistral 3 系列模型,含 675B 参数的 Mistral Large 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的当前水位。

10月28日周二
9月4日周四
  1. Hugging Face Blog60

    Google 发布 EmbeddingGemma 嵌入模型

    Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200 MB。

    推荐理由:308M 参数、2K 上下文、支持 100 多种语言,读者可据此判断端侧 RAG 与多语言检索的落地空间。

6月26日周四
  1. Hugging Face Blog78

    Gemma 3n 全面上线开源生态,支持端侧多模态推理

    Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 和 Google AI Edge 等主流开源库中可用,发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸,各有 base 和 instruct 两个版本。

    推荐理由:原文给出 Gemma 3n 在主流开源库的落地方式与端侧内存占用,读者可据此判断本地多模态部署的可行性。

5月21日周三
  1. Hugging Face Blog62

    Falcon-H1 发布:0.5B 到 34B 的混合注意力 SSM 模型家族

    Falcon-H1 系列发布六个开源模型,参数从 0.5B 到 34B,每个尺寸都有 base 和 instruct 版本,采用 Apache 2.0 许可。模型在混合 mixer 块中并行组合注意力与 Mamba-2 头,支持 256K 上下文和 18 种语言,官方称 0.5B 版本性能接近 2024 年的典型 7B 模型。

    推荐理由:Falcon-H1 用注意力与 SSM 并行混合架构,在 0.5B 到 34B 六个尺寸上给出效率与长上下文表现,可据此判断小模型部署的取舍。

5月15日周四
3月17日周一
2月20日周四
1月30日周四
10月16日周三
  1. Mistral AI66

    Mistral 发布 Ministral 3B 与 8B 端侧模型

    Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B,面向设备端与边缘计算场景。

    推荐理由:Mistral 在 7B 发布一周年推出两款端侧小模型,给出定价与许可,可据此判断本地推理的选型空间。

9月25日周三
7月31日周三
  1. Hugging Face Blog62

    Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope

    Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。

    推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。

7月16日周二