跳到正文

#多模态

今日 2 条
6月17日周三
6月15日周一
6月13日周六
6月9日周二
6月5日周五
  1. Hugging Face Blog62

    NVIDIA 发布 Nemotron 3.5 Content Safety 多模态安全模型

    NVIDIA 发布 Nemotron 3.5 Content Safety,基于 Gemma 3 4B IT 微调,把多模态输入、多语言覆盖、自定义企业策略执行和可审计推理统一到一次推理调用中。

    推荐理由:NVIDIA 把多模态、多语言、自定义策略与可审计推理合并进一次推理调用,并公开训练数据集,便于企业评估安全护栏的落地成本。

5月29日周五
5月19日周二
5月18日周一
5月17日周日
  1. Google DeepMind62

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini、Chrome 和 Pixel

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search,并将在未来几周进入 Chrome;该验证功能在 Gemini 中已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel,读者可据此了解内容溯源工具的实际覆盖范围。

5月16日周六
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 3.5 Flash,主打智能体与编码

    Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API 及 Gemini Enterprise 等渠道开放。

    推荐理由:官方给出 3.5 Flash 在编码与智能体基准上的成绩和开放入口,可据此判断速度与能力如何取舍。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,优于医生常用的两款 AI 系统;在 140 项问诊技能评估中,AI 有 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体仍更优。

    推荐理由:DeepMind 公开 AI co-clinician 研究计划,给出医生端证据综合与患者端实时多模态问诊的对照评测结果。

4月28日周二
  1. Hugging Face Blog71

    NVIDIA 发布 Nemotron 3 Nano Omni:面向文档、音频与视频智能体的长上下文全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni,一款覆盖文本、图像、视频与音频的全模态理解模型,基于 Nemotron 3 Nano 30B-A3B 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。

    推荐理由:NVIDIA 开源的全模态模型,给出架构、训练配方与多榜单对比,可据此判断长文档与音视频智能体的选型空间。

4月21日周二
  1. OpenAI News65

    OpenAI 发布 ChatGPT Images 2.0

    OpenAI 发布 ChatGPT Images 2.0,改进了文字渲染、多语言支持和视觉推理能力。官方同时提到 Images 2.5 的新变化。

    推荐理由:OpenAI 官方公布 ChatGPT Images 2.0 的三项能力变化,可据此判断图像生成在文字渲染与多语言上的进展。

4月16日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性、表现力和音质的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览,企业版在 Vertex AI 预览,Workspace 用户可通过 Google Vids 使用。

    推荐理由:官方给出 Elo 1211、70+ 语言与 audio tags 等具体指标,可据此判断语音生成的可控性进展。

4月13日周一
  1. Google DeepMind66

    Google DeepMind 发布 Gemini Robotics-ER 1.6,新增仪表读数能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人推理的模型升级版,强化了空间推理与多视角理解,并新增仪表读数能力,可读取压力表、液位计和数字读数。

    推荐理由:官方给出与前代及 Gemini 3.0 Flash 的对比,并新增仪表读数能力,可据此判断机器人在真实场景的推理进展。

4月9日周四
  1. Hugging Face Blog62

    Sentence Transformers v5.4 支持多模态嵌入与重排模型

    Sentence Transformers v5.4 更新后,可用同一套 API 对文本、图像、音频和视频进行编码与比较,并支持多模态重排模型对混合模态文档打分。

    推荐理由:Sentence Transformers v5.4 把文本、图像、音频、视频统一进同一套嵌入与重排 API,读者可据此判断多模态检索管线的落地方式。

4月3日周五
4月2日周四
  1. Hugging Face Blog88

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线,采用 Apache 2 许可,支持图像、文本和音频输入并生成文本,共五个尺寸:E2B、E4B、12B Unified、31B 和 26B A4B。

    推荐理由:Gemma 4 五档尺寸与 12B 无编码器统一多模态的架构取舍,为端侧多模态选型提供了具体参照。

4月1日周三
  1. Hugging Face Blog62

    TII 发布 Falcon Perception 与 Falcon OCR 模型

    阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早期融合 Transformer,用自然语言提示做开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1,高于 SAM 3 的 62.3,但在存在性校准上落后(MCC 0.64 对 0.82)。

    推荐理由:原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比,可据此判断单栈架构相对模块化流水线的取舍。

3月31日周二
  1. Hugging Face Blog62

    IBM 发布 Granite 4.0 3B Vision 企业文档多模态模型

    IBM 发布 Granite 4.0 3B Vision,一个面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式叠加在 Granite 4.0 Micro 之上,采用 Apache 2.0 许可并在 Hugging Face 上线。

    推荐理由:Granite 4.0 3B Vision 以 LoRA 适配器形式发布,并给出图表与表格抽取的基准对比,可据此判断小模型在企业文档场景的可用性。

3月26日周四
3月25日周三
  1. Google Research60

    Google 发布 Vibe Coding XR:用 Gemini 和 XR Blocks 把自然语言变成 Android XR 应用

    Google 发布 Vibe Coding XR 工作流,将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合,把自然语言提示词直接转成可运行的物理感知 Android XR 应用,耗时不到 60 秒。

    推荐理由:Google 把 Gemini 与 XR Blocks 组合成从自然语言到 Android XR 应用的生成流程,并给出 VCXR60 初步评测数据,可据此判断 XR 原型的门槛变化。

3月18日周三
3月17日周二
  1. OpenAI News65

    OpenAI 发布 GPT-5.4 mini 与 nano

    OpenAI 发布 GPT-5.4 mini 和 nano,两者是 GPT-5.4 的更小、更快版本。官方称其针对编码、工具调用、多模态推理以及高并发 API 和子智能体负载做了优化。

    推荐理由:OpenAI 在 GPT-5.4 之下补出 mini 与 nano 两档,读者可据此判断小模型在编码与子智能体负载上的定位。

  2. Mistral AI78

    Mistral 发布 Mistral Small 4 开源模型,统一推理、多模态与编码能力

    Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个重要版本,也是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型的 Mistral 模型,采用 Apache 2.0 许可。

    推荐理由:Mistral 把推理、多模态与编码能力合并进单一开源模型,并给出可调推理强度与部署门槛,便于评估其替代多模型组合的可行性。

3月12日周四
  1. Google Research71

    Google 与 BIDMC 开展 AMIE 对话式诊断 AI 真实临床可行性研究

    Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让 AMIE 在门诊初诊前与患者进行文本问诊,由医生通过视频实时监督。

    推荐理由:Google 与 BIDMC 公布 AMIE 在真实门诊的前瞻性可行性研究,给出安全停用次数与诊断一致性等关键数据。

3月6日周五
3月4日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash-Lite

    Google DeepMind 推出 Gemini 3.1 Flash-Lite,定位为 Gemini 3 系列中速度最快、成本最低的模型,即日起通过 Gemini API 在 Google AI Studio 和 Vertex AI 面向开发者预览。

    推荐理由:官方给出价格、速度与基准数据,可据此判断高并发场景下是否值得替换现有轻量模型。

2月27日周五
2月19日周四
  1. Google DeepMind71

    Gemini 应用上线 Lyria 3 音乐生成,支持文本与图片生成 30 秒曲目

    Google DeepMind 的最新生成式音乐模型 Lyria 3 以 beta 形式在 Gemini 应用上线,用户用文本或上传图片、视频即可生成 30 秒曲目,歌词由模型自动生成,并可控制风格、人声和节奏。

    推荐理由:官方披露 Lyria 3 在 Gemini 应用中的生成方式、时长与 SynthID 音频验证能力,可据此判断音乐生成的使用边界。

2月18日周三
2月17日周二
2月11日周三
  1. Google Research36

    Google Research 推出 DialogLab:开源多智能体群聊对话创作与测试框架

    Google Research 发布开源原型框架 DialogLab,用于创作、模拟和测试动态的人机多方群聊对话,相关论文在 ACM UIST 2025 展示。该框架将对话的社交设定与时间流程解耦,支持拖拽式编排、human control 实时干预和验证仪表盘分析,14 名用户评测显示 human control 模式在参与感、有效性和真实感上评分最高。

2月10日周二