跳到正文

#端侧

今日 0 条
10月18日周日
  1. NVIDIA Blog60

    NVIDIA RTX Spark 笔记本上市,起售价 2399 美元

    NVIDIA RTX Spark 笔记本已上市,搭载 Blackwell RTX GPU 与 Grace CPU,最高 1 petaflop AI 算力和 128GB 统一内存,起售价 2399 美元。华硕、戴尔、惠普、联想、微软和微星首批推出该机型,NVIDIA 在北京、柏林、首尔、旧金山、台北和伊斯坦布尔等地举办上市活动,黄仁勋在柏林现场现身。

    推荐理由:原文给出 RTX Spark 笔记本的规格、起售价和上市渠道,读者可据此判断本地 AI 的硬件门槛。

10月16日周五
  1. NVIDIA Blog74

    NVIDIA 扩展 Nemotron 家族,发布 120B 的 Super VL 与两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL,这是一个 120B 参数开放模型,面向常驻智能体任务,官方称其多模态智能体任务准确率与自家最大推理模型相当,参数量约为其五分之一,吞吐量最高为同类模型的 5 倍。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出参数、量化与部署入口,便于判断本地智能体的选型空间。

10月14日周三
  1. Google DeepMind61

    Google DeepMind 与新加坡政府合作推出端侧诈骗检测模型

    Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型,用于识别冒充公共机构、银行和本地人物的诈骗对话。

    推荐理由:原文给出了端侧诈骗检测的两阶段流水线与治理约束,读者可据此判断隐私与安全如何兼顾。

10月13日周二
  1. NVIDIA Blog76

    NVIDIA RTX Spark 笔记本 10 月 16 日上市,首发配套本地 AI 智能体与 Nemotron 3.5 Bolt 74B

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存、1 petaflop AI 算力,并同步推出面向本地智能体的软件与模型更新。

    推荐理由:NVIDIA 官方一次性列出 RTX Spark 首发时的本地智能体、模型与开发工具清单,可据此判断端侧 AI 工作流的可用边界。

10月8日周四
  1. NVIDIA Blog74

    NVIDIA 与微软发布 RTX Spark 笔记本及 Windows 智能体基础设施

    在旧金山微软 Windows AI 与 Surface 活动上,NVIDIA 与微软宣布为 Windows PC 上的 AI 智能体共同设计软硬件,并开放 RTX Spark 笔记本预售,10 月 16 日开售,紧凑型台式机 11 月上市。

    推荐理由:英伟达与微软把智能体运行所需的系统级容器和本地算力硬件一起端上桌面,读者可据此判断本地跑大模型的门槛变化。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可把文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用等细节,可据此判断端侧多模态检索的落地边界。

10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统,Gboard 已采用

    Google 发布新一代联邦学习系统,用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型,隐私保证更强且准确率提升。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际部署效果。

  2. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,支持双机集群扩展本地 AI

    NVIDIA 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,可本地运行最高 1000 亿参数模型。

    推荐理由:原文给出 64GB 新配置的售价、上市时间与双机集群性能数据,读者可据此判断本地跑大模型的成本与扩展方式。

9月22日周二
8月17日周一
8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能,首批支持美国手语(ASL)转英文。

    推荐理由:官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可了解手语 AI 从实验室进入消费产品的技术取舍。

6月27日周六
6月9日周二
6月5日周五
6月2日周二
5月28日周四
  1. Google Research34

    Google 推出零信任聚合的隐私分析方案

    Google 发布一套面向隐私分析的零信任聚合方案,将新型单次消息加密聚合协议与 TEE 结合,设备无需多轮在线即可提交数据。该设计使原始数据在任何服务器内存中都不会被暴露或重建,仅在数据完成聚合并匿名化后才在设备外处理明文,并借助 TEE 远程认证向参与者证明协议按公开代码正确执行。

5月27日周三
4月23日周四
4月3日周五
4月2日周四
  1. Hugging Face Blog88

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线,采用 Apache 2 许可,支持图像、文本和音频输入并生成文本,共五个尺寸:E2B、E4B、12B Unified、31B 和 26B A4B。

    推荐理由:Gemma 4 五档尺寸与 12B 无编码器统一多模态的架构取舍,为端侧多模态选型提供了具体参照。

3月5日周四
  1. Hugging Face Blog38

    如何在嵌入式平台部署机器人 AI:数据集录制、VLA 微调与端侧优化

    Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,覆盖数据集录制、VLA 策略微调(ACT 与 SmolVLA)及端侧优化。NXP 以"把茶包放进杯子"任务录制 120 个 episode,将机械臂工作空间划分为 11 个 10×10 cm 聚类,并推荐使用夹爪相机提升精细操作成功率。指南还介绍了 NXP i.MX 95 SoC 经优化后实现的实时性能。

2月9日周一
  1. Hugging Face Blog66

    Transformers.js v4 发布并上线 NPM

    Transformers.js v4 已在 NPM 发布,可通过 npm i @huggingface/transformers 安装,距 2025 年 3 月启动开发约一年。

    推荐理由:官方给出 v4 的 WebGPU 运行时重写、构建提速与包体积变化,可据此判断浏览器端推理的工程收益。

1月23日周五
  1. Google Research34

    Google 小模型分解法实现端侧用户意图提取,效果媲美 Gemini 1.5 Pro

    Google Research 在 EMNLP 2025 发表的论文提出一种分解式工作流,先由小多模态 LLM 逐屏总结用户交互,再从摘要序列中提取意图,在移动端和网页轨迹上均优于 CoT 提示和端到端微调。该方法用 Gemini 1.5 Flash 8B 即达到 Gemini 1.5 Pro 的相当效果,成本与速度仅为后者一小部分,适用于端侧部署。

1月16日周五
  1. Google Research40

    Google 研究:用 Pixel Watch 智能手表估算步态指标,精度媲美手机

    Google 研究团队提出基于时序卷积网络(TCN)的多头深度学习模型,仅凭单只 Pixel Watch 的 IMU 信号和用户身高,即可直接估算步速、步长、摆动时间、支撑时间等多项步态指标。在 246 名参与者、约 7 万个步行片段的大规模验证中,手表估算在多数指标上达到 Pearson r >0.80、ICC >0.80,与 Pixel 6 手机估算无显著差异(p >0.05)。

12月3日周三
  1. Mistral AI82

    Mistral 发布 Mistral 3 系列模型,含 675B 参数的 Mistral Large 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的当前水位。

11月20日周四
11月19日周三
  1. Google Research76

    Google 发布端到端实时语音翻译模型,延迟降至 2 秒

    Google Research 发布端到端语音到语音翻译(S2ST)模型,直接生成译文音频并保留原说话人音色,延迟从级联方案的 4–5 秒降至 2 秒。该模型基于 AudioLM 框架和 Transformer 模块,采用流式编码器与解码器,并用时间同步数据管线训练,音频以 RVQ token 表示,100 ms 片段约需 16 个 token。

    推荐理由:Google 端到端语音翻译把延迟从 4–5 秒压到 2 秒,并已落地 Meet 与 Pixel 10,可据此判断实时同传的可用边界。

10月30日周四
  1. Google Research62

    Google 提出可证明隐私洞察 PPI,用 LLM 与差分隐私分析 GenAI 使用数据

    Google Research 提出可证明隐私洞察(PPI),结合 LLM、差分隐私(DP)与可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析 GenAI 工具的使用情况。

    推荐理由:Google 把 LLM、差分隐私与 TEE 组合成可外部验证的隐私分析流程,读者可了解端侧数据洞察的工程路径。

10月28日周二
10月15日周三
10月11日周六
10月2日周四
  1. Hugging Face Blog62

    用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践

    Hugging Face 博客发布三部分系列文章,记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。

    推荐理由:记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程,对端侧部署有可迁移的参考价值。

9月29日周一
9月26日周五
9月4日周四
  1. Hugging Face Blog60

    Google 发布 EmbeddingGemma 嵌入模型

    Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200 MB。

    推荐理由:308M 参数、2K 上下文、支持 100 多种语言,读者可据此判断端侧 RAG 与多语言检索的落地空间。

8月21日周四