跳到正文

#多模态

今日 1 条
7月15日周三
  1. Hugging Face Blog85

    Thinking Machines 发布 Inkling 多模态大模型及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布 Inkling,一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型,同时推出 276B 总参数 12B 激活的 Inkling-Small。

    推荐理由:原文给出 Inkling 的架构细节、部署配置与多模态评测数据,可据此判断其推理成本与适用场景。

7月8日周三
  1. Mistral AI71

    Mistral 发布 Robostral Navigate 具身导航模型

    Mistral AI 发布首个具身导航模型 Robostral Navigate,这是一个 8B 模型,仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方案高 9.7 个百分点,比使用深度或多相机的最佳系统高 4.5 个百分点。

    推荐理由:Mistral 首个具身导航模型仅用单目 RGB 相机就在 R2R-CE 上超过多传感器方案,可看其训练与强化学习设计。

7月3日周五
7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 的推理。该架构为开放可替换的级联栈:Nvidia Parakeet 做语音识别,Gemma 4 VLM 在 Cerebras 上推理,阿里 Qwen3TTS 做文本转语音。

    推荐理由:原文给出了可复用的开源语音到语音流水线架构,读者可据此了解各模块如何组合与替换。

6月22日周一
6月17日周三
6月13日周六
6月9日周二
6月5日周五
  1. Hugging Face Blog62

    NVIDIA 发布 Nemotron 3.5 Content Safety 多模态安全模型

    NVIDIA 发布 Nemotron 3.5 Content Safety,基于 Gemma 3 4B IT 微调,把多模态输入、多语言覆盖、自定义企业策略执行和可审计推理统一到一次推理调用中。

    推荐理由:NVIDIA 把多模态、多语言、自定义策略与可审计推理合并进一次推理调用,并公开训练数据集,便于企业评估安全护栏的落地成本。

5月29日周五
5月19日周二
5月18日周一
5月17日周日
  1. Google DeepMind62

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini、Chrome 和 Pixel

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search,并将在未来几周进入 Chrome;该验证功能在 Gemini 中已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel,读者可据此了解内容溯源工具的实际覆盖范围。

5月16日周六
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 3.5 Flash,主打智能体与编码

    Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API 及 Gemini Enterprise 等渠道开放。

    推荐理由:官方给出 3.5 Flash 在编码与智能体基准上的成绩和开放入口,可据此判断速度与能力如何取舍。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,优于医生常用的两款 AI 系统;在 140 项问诊技能评估中,AI 有 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体仍更优。

    推荐理由:DeepMind 公开 AI co-clinician 研究计划,给出医生端证据综合与患者端实时多模态问诊的对照评测结果。

4月28日周二
  1. Hugging Face Blog71

    NVIDIA 发布 Nemotron 3 Nano Omni:面向文档、音频与视频智能体的长上下文全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni,一款覆盖文本、图像、视频与音频的全模态理解模型,基于 Nemotron 3 Nano 30B-A3B 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。

    推荐理由:NVIDIA 开源的全模态模型,给出架构、训练配方与多榜单对比,可据此判断长文档与音视频智能体的选型空间。

4月21日周二
  1. OpenAI News65

    OpenAI 发布 ChatGPT Images 2.0

    OpenAI 发布 ChatGPT Images 2.0,改进了文字渲染、多语言支持和视觉推理能力。官方同时提到 Images 2.5 的新变化。

    推荐理由:OpenAI 官方公布 ChatGPT Images 2.0 的三项能力变化,可据此判断图像生成在文字渲染与多语言上的进展。

4月16日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性、表现力和音质的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览,企业版在 Vertex AI 预览,Workspace 用户可通过 Google Vids 使用。

    推荐理由:官方给出 Elo 1211、70+ 语言与 audio tags 等具体指标,可据此判断语音生成的可控性进展。

4月13日周一
  1. Google DeepMind66

    Google DeepMind 发布 Gemini Robotics-ER 1.6,新增仪表读数能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人推理的模型升级版,强化了空间推理与多视角理解,并新增仪表读数能力,可读取压力表、液位计和数字读数。

    推荐理由:官方给出与前代及 Gemini 3.0 Flash 的对比,并新增仪表读数能力,可据此判断机器人在真实场景的推理进展。

4月9日周四
  1. Hugging Face Blog62

    Sentence Transformers v5.4 支持多模态嵌入与重排模型

    Sentence Transformers v5.4 更新后,可用同一套 API 对文本、图像、音频和视频进行编码与比较,并支持多模态重排模型对混合模态文档打分。

    推荐理由:Sentence Transformers v5.4 把文本、图像、音频、视频统一进同一套嵌入与重排 API,读者可据此判断多模态检索管线的落地方式。

4月3日周五
4月2日周四
  1. Hugging Face Blog88

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线,采用 Apache 2 许可,支持图像、文本和音频输入并生成文本,共五个尺寸:E2B、E4B、12B Unified、31B 和 26B A4B。

    推荐理由:Gemma 4 五档尺寸与 12B 无编码器统一多模态的架构取舍,为端侧多模态选型提供了具体参照。

4月1日周三
  1. Hugging Face Blog62

    TII 发布 Falcon Perception 与 Falcon OCR 模型

    阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早期融合 Transformer,用自然语言提示做开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1,高于 SAM 3 的 62.3,但在存在性校准上落后(MCC 0.64 对 0.82)。

    推荐理由:原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比,可据此判断单栈架构相对模块化流水线的取舍。

3月31日周二
  1. Hugging Face Blog62

    IBM 发布 Granite 4.0 3B Vision 企业文档多模态模型

    IBM 发布 Granite 4.0 3B Vision,一个面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式叠加在 Granite 4.0 Micro 之上,采用 Apache 2.0 许可并在 Hugging Face 上线。

    推荐理由:Granite 4.0 3B Vision 以 LoRA 适配器形式发布,并给出图表与表格抽取的基准对比,可据此判断小模型在企业文档场景的可用性。

3月26日周四
3月25日周三
  1. Google Research60

    Google 发布 Vibe Coding XR:用 Gemini 和 XR Blocks 把自然语言变成 Android XR 应用

    Google 发布 Vibe Coding XR 工作流,将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合,把自然语言提示词直接转成可运行的物理感知 Android XR 应用,耗时不到 60 秒。

    推荐理由:Google 把 Gemini 与 XR Blocks 组合成从自然语言到 Android XR 应用的生成流程,并给出 VCXR60 初步评测数据,可据此判断 XR 原型的门槛变化。

3月18日周三
3月17日周二
  1. OpenAI News65

    OpenAI 发布 GPT-5.4 mini 与 nano

    OpenAI 发布 GPT-5.4 mini 和 nano,两者是 GPT-5.4 的更小、更快版本。官方称其针对编码、工具调用、多模态推理以及高并发 API 和子智能体负载做了优化。

    推荐理由:OpenAI 在 GPT-5.4 之下补出 mini 与 nano 两档,读者可据此判断小模型在编码与子智能体负载上的定位。

  2. Mistral AI78

    Mistral 发布 Mistral Small 4 开源模型,统一推理、多模态与编码能力

    Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个重要版本,也是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型的 Mistral 模型,采用 Apache 2.0 许可。

    推荐理由:Mistral 把推理、多模态与编码能力合并进单一开源模型,并给出可调推理强度与部署门槛,便于评估其替代多模型组合的可行性。

3月12日周四
  1. Google Research71

    Google 与 BIDMC 开展 AMIE 对话式诊断 AI 真实临床可行性研究

    Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让 AMIE 在门诊初诊前与患者进行文本问诊,由医生通过视频实时监督。

    推荐理由:Google 与 BIDMC 公布 AMIE 在真实门诊的前瞻性可行性研究,给出安全停用次数与诊断一致性等关键数据。

3月6日周五
3月4日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash-Lite

    Google DeepMind 推出 Gemini 3.1 Flash-Lite,定位为 Gemini 3 系列中速度最快、成本最低的模型,即日起通过 Gemini API 在 Google AI Studio 和 Vertex AI 面向开发者预览。

    推荐理由:官方给出价格、速度与基准数据,可据此判断高并发场景下是否值得替换现有轻量模型。

2月27日周五