Google DeepMind 发布 Gemini Omni Flash 视频生成模型
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并支持用自然语言多轮对话编辑视频。
推荐理由:Gemini Omni 把多模态输入与对话式视频编辑结合,读者可据此判断视频生成工作流的变化。
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并支持用自然语言多轮对话编辑视频。
推荐理由:Gemini Omni 把多模态输入与对话式视频编辑结合,读者可据此判断视频生成工作流的变化。
Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search,并将在未来几周进入 Chrome;该验证功能在 Gemini 中已被使用 5000 万次。
推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel,读者可据此了解内容溯源工具的实际覆盖范围。
Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API 及 Gemini Enterprise 等渠道开放。
推荐理由:官方给出 3.5 Flash 在编码与智能体基准上的成绩和开放入口,可据此判断速度与能力如何取舍。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,优于医生常用的两款 AI 系统;在 140 项问诊技能评估中,AI 有 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体仍更优。
推荐理由:DeepMind 公开 AI co-clinician 研究计划,给出医生端证据综合与患者端实时多模态问诊的对照评测结果。
NVIDIA 发布 Nemotron 3 Nano Omni,一款覆盖文本、图像、视频与音频的全模态理解模型,基于 Nemotron 3 Nano 30B-A3B 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。
推荐理由:NVIDIA 开源的全模态模型,给出架构、训练配方与多榜单对比,可据此判断长文档与音视频智能体的选型空间。
OpenAI 发布 ChatGPT Images 2.0,改进了文字渲染、多语言支持和视觉推理能力。官方同时提到 Images 2.5 的新变化。
推荐理由:OpenAI 官方公布 ChatGPT Images 2.0 的三项能力变化,可据此判断图像生成在文字渲染与多语言上的进展。
Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性、表现力和音质的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览,企业版在 Vertex AI 预览,Workspace 用户可通过 Google Vids 使用。
推荐理由:官方给出 Elo 1211、70+ 语言与 audio tags 等具体指标,可据此判断语音生成的可控性进展。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人推理的模型升级版,强化了空间推理与多视角理解,并新增仪表读数能力,可读取压力表、液位计和数字读数。
推荐理由:官方给出与前代及 Gemini 3.0 Flash 的对比,并新增仪表读数能力,可据此判断机器人在真实场景的推理进展。
Sentence Transformers v5.4 更新后,可用同一套 API 对文本、图像、音频和视频进行编码与比较,并支持多模态重排模型对混合模态文档打分。
推荐理由:Sentence Transformers v5.4 把文本、图像、音频、视频统一进同一套嵌入与重排 API,读者可据此判断多模态检索管线的落地方式。
Google DeepMind 发布 Gemma 4 开源模型家族,包含 E2B、E4B、26B MoE 和 31B Dense 四个尺寸,采用 Apache 2.0 许可。
推荐理由:Gemma 4 以四个尺寸覆盖端侧到工作站,并给出 Apache 2.0 许可与首日工具支持,读者可据此判断本地部署与微调的选择空间。
Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线,采用 Apache 2 许可,支持图像、文本和音频输入并生成文本,共五个尺寸:E2B、E4B、12B Unified、31B 和 26B A4B。
推荐理由:Gemma 4 五档尺寸与 12B 无编码器统一多模态的架构取舍,为端侧多模态选型提供了具体参照。
阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早期融合 Transformer,用自然语言提示做开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1,高于 SAM 3 的 62.3,但在存在性校准上落后(MCC 0.64 对 0.82)。
推荐理由:原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比,可据此判断单栈架构相对模块化流水线的取舍。
IBM 发布 Granite 4.0 3B Vision,一个面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式叠加在 Granite 4.0 Micro 之上,采用 Apache 2.0 许可并在 Hugging Face 上线。
推荐理由:Granite 4.0 3B Vision 以 LoRA 适配器形式发布,并给出图表与表格抽取的基准对比,可据此判断小模型在企业文档场景的可用性。
Google DeepMind 发布 Lyria 3 Pro,可生成最长 3 分钟的曲目,并具备结构感知能力,能按前奏、主歌、副歌和桥段等元素进行提示。
推荐理由:官方给出 Lyria 3 Pro 的时长、结构控制与多产品接入范围,可据此判断音乐生成在创作流程中的可用性。
Google 发布 Vibe Coding XR 工作流,将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合,把自然语言提示词直接转成可运行的物理感知 Android XR 应用,耗时不到 60 秒。
推荐理由:Google 把 Gemini 与 XR Blocks 组合成从自然语言到 Android XR 应用的生成流程,并给出 VCXR60 初步评测数据,可据此判断 XR 原型的门槛变化。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项姊妹研究,评估 AI 乳腺癌检测系统。
推荐理由:两项 Nature Cancer 研究给出 AI 在 NHS 乳腺筛查双读流程中的前瞻部署数据与人力节省估算。
H Company 发布 Holotron-12B,一个基于 NVIDIA Nemotron-Nano-2 VL 后训练的多模态 computer-use 模型,现已在 Hugging Face 上线,采用 NVIDIA Open Model License。
推荐理由:模型基于 Nemotron 架构做后训练,给出吞吐与 WebVoyager 数据,可对照现有 computer-use 智能体的部署成本。
OpenAI 发布 GPT-5.4 mini 和 nano,两者是 GPT-5.4 的更小、更快版本。官方称其针对编码、工具调用、多模态推理以及高并发 API 和子智能体负载做了优化。
推荐理由:OpenAI 在 GPT-5.4 之下补出 mini 与 nano 两档,读者可据此判断小模型在编码与子智能体负载上的定位。
Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个重要版本,也是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型的 Mistral 模型,采用 Apache 2.0 许可。
推荐理由:Mistral 把推理、多模态与编码能力合并进单一开源模型,并给出可调推理强度与部署门槛,便于评估其替代多模型组合的可行性。
Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让 AMIE 在门诊初诊前与患者进行文本问诊,由医生通过视频实时监督。
推荐理由:Google 与 BIDMC 公布 AMIE 在真实门诊的前瞻性可行性研究,给出安全停用次数与诊断一致性等关键数据。