跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

140条精选相关主题图像生成AI 视频语音与音频

最新精选

第 21–40 条 · 共 140 条
9月22日周二
  1. Latent Space80

    小米发布 MiMo-V2.6-Pro 1T-A42B 开源权重模型,训练成本 300 万美元

    小米发布 MiMo-V2.6 系列原生全模态开源权重模型,其中 MiMo-V2.6-Pro 为 1.02T 总参数、42B 激活参数,采用 MIT 许可,Artificial Analysis 智能指数为 46,定价为输入 $0.435/M tokens、输出 $0.87/M tokens。

    推荐理由:小米首次进入前沿开源模型序列,其 RL 环境与训练配方一并开源,读者可据此判断开源权重竞争的成本门槛变化。

9月2日周三
8月28日周五
8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能,首批支持美国手语(ASL)转英文。

    推荐理由:官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可了解手语 AI 从实验室进入消费产品的技术取舍。

  2. Google Research71

    Google 将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并实时推理诊断。

    推荐理由:Google 用 300 场随机对照视频问诊给出 AMIE 多智能体架构的评测细节,可了解实时音视频临床推理的当前边界。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开放权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。

8月10日周一
8月4日周二
  1. Mistral AI69

    Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。该模型把内容审核建模为策略自适应的问答任务,推理时接受自然语言策略并输出校准后的安全分数,无需重新训练即可统一文本与图像安全评估。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源权重模型以推理时自然语言策略替代固定危害分类,读者可据此判断内容审核的部署方式变化。

7月30日周四
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,作为机器人的高层大脑,支持视频理解、任务编排与多机器人协作,并可通过 Gemini API、Google AI Studio 使用,Gemini Enterprise Agent Platform 上为私密预览。

    推荐理由:官方给出进度分类、时刻定位与多机协作的具体指标,可据此判断机器人在长任务中的自主完成度。

7月28日周二
7月23日周四
  1. Google Research62

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体

    Google Research 发布论文 SymptomAI,用五个基于 Gemini Flash 2.0 的实验性对话智能体开展症状问诊与鉴别诊断(DDx),共 13917 名受试者参与随机分组研究。

    推荐理由:Google 用 13917 人随机对照研究比较五种 Gemini Flash 2.0 症状问诊智能体,并给出临床专家盲评与可穿戴设备数据交叉验证。

7月21日周二
7月15日周三
  1. Hugging Face Blog85

    Thinking Machines 发布 Inkling 多模态大模型及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布 Inkling,一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型,同时推出 276B 总参数 12B 激活的 Inkling-Small。

    推荐理由:原文给出 Inkling 的架构细节、部署配置与多模态评测数据,可据此判断其推理成本与适用场景。

7月8日周三
  1. Mistral AI71

    Mistral 发布 Robostral Navigate 具身导航模型

    Mistral AI 发布首个具身导航模型 Robostral Navigate,这是一个 8B 模型,仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方案高 9.7 个百分点,比使用深度或多相机的最佳系统高 4.5 个百分点。

    推荐理由:Mistral 首个具身导航模型仅用单目 RGB 相机就在 R2R-CE 上超过多传感器方案,可看其训练与强化学习设计。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 的推理。该架构为开放可替换的级联栈:Nvidia Parakeet 做语音识别,Gemma 4 VLM 在 Cerebras 上推理,阿里 Qwen3TTS 做文本转语音。

    推荐理由:原文给出了可复用的开源语音到语音流水线架构,读者可据此了解各模块如何组合与替换。

6月22日周一
6月9日周二
6月5日周五
  1. Hugging Face Blog62

    NVIDIA 发布 Nemotron 3.5 Content Safety 多模态安全模型

    NVIDIA 发布 Nemotron 3.5 Content Safety,基于 Gemma 3 4B IT 微调,把多模态输入、多语言覆盖、自定义企业策略执行和可审计推理统一到一次推理调用中。

    推荐理由:NVIDIA 把多模态、多语言、自定义策略与可审计推理合并进一次推理调用,并公开训练数据集,便于企业评估安全护栏的落地成本。