跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

140条精选相关主题图像生成AI 视频语音与音频

最新精选

第 1–20 条 · 共 140 条
10月16日周五
  1. The Decoder82

    Meta 发布 Muse Spark Open,816B 参数重返开源权重赛道

    Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,面向编码与智能体任务,拥有 8160 亿参数(激活 420 亿)、最高 100 万 token 上下文,支持文本、图像、视频和音频。

    推荐理由:Meta 重返开源权重赛道,给出 816B 参数、百万 token 上下文与本地部署条件,可对照 Qwen、GLM、Kimi 看开源格局变化。

  2. The Decoder78

    Google 发布 Gemini 4 Argon,瞄准机器人全流程单一模型

    Google 发布面向机器人任务的 Gemini 4 Argon,主打用同一模型完成仿真构建、机器人控制和训练数据评估,并称其更擅长理解空间关系、编写控制代码和从物理角度解读视频。

    推荐理由:Google 用同一模型打通机器人仿真、控制与数据评估,并给出与竞品的基准对比,可据此判断通用机器人模型的路线差异。

  3. Hugging Face Blog88

    Meta 开源 Muse Spark Open:816B 参数多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可输入文本、图像、音频和视频并输出文本。

    推荐理由:Meta 开源 816B 参数 MoE 多模态模型,给出部署、微调与量化运行的完整路径,便于评估自托管成本。

  4. Google DeepMind62

    Google Antigravity 用智能体加速抗菌肽发现

    Google DeepMind 介绍其智能体开发平台 Google Antigravity 新增智能科研工作台,把原本分散在多个数据库的检索压缩到单次会话中,并结合 ProtNLM 扫描 UniProt 中数百万条未表征蛋白序列。

    推荐理由:原文展示了智能体平台把跨库检索与结构分析压缩进单次会话的具体流程,可据此判断科研工作流的改动幅度。

  5. NVIDIA Blog74

    NVIDIA 扩展 Nemotron 家族,发布 120B 的 Super VL 与两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL,这是一个 120B 参数开放模型,面向常驻智能体任务,官方称其多模态智能体任务准确率与自家最大推理模型相当,参数量约为其五分之一,吞吐量最高为同类模型的 5 倍。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出参数、量化与部署入口,便于判断本地智能体的选型空间。

10月15日周四
  1. Hugging Face Blog64

    Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选的思考模式,上下文窗口提升至 262,144 tokens,为 1.0 的 4 倍,并改进了指令遵循与工具调用。

    推荐理由:Apertus 1.5 在 8B 和 70B 上加入图像音频理解与思考模式,并公开训练数据与中间检查点,可观察开放多模态模型的完整训练路径。

10月14日周三
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,今日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 面向开发者、企业和消费者开放,定价为每百万输入 token 2 美元、输出 token 10 美元,缓存输入 token 享 95% 折扣。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型在长程任务上的落地程度。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    推荐理由:官方给出 Argon 在 ERQA 的 87% 成绩与四类机器人工作流示例,可据此判断物理推理模型的落地边界。

10月8日周四
  1. OpenAI News82

    OpenAI 在 ChatGPT 全球上线 GPT-6 与 Intelligent UI

    OpenAI 宣布 GPT-6 正在 ChatGPT 中面向全球上线,并同步推出 Intelligent UI。官方称新版本响应更快,并带来可视化与可交互的体验,用户可直接在 ChatGPT 中探索和使用。

    推荐理由:OpenAI 官方公布 GPT-6 在 ChatGPT 全球上线,并同步引入 Intelligent UI,读者可据此了解模型与交互形态的同步变化。

  2. TechCrunch · AI82

    OpenAI 随 GPT-6 推出 Intelligent UI,ChatGPT 界面转向可视化交互

    OpenAI 推出名为 Intelligent UI 的新界面,随新模型 GPT-6 于周三开始推送,把大量可视化内容整合进对话,其中不少是可交互的按钮、定制计算器、交互式图表和可编辑图形。

    推荐理由:OpenAI 随 GPT-6 推出可交互的 Intelligent UI,读者可了解 ChatGPT 界面从纯文本转向可视化交互的具体形态与开放节奏。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可把文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用等细节,可据此判断端侧多模态检索的落地边界。

10月6日周二
  1. Mistral AI80

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态

    Mistral AI 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、49B 激活参数的原生多模态模型,可在 Mistral Studio 试用预览 API,权重将于本月底发布。

    推荐理由:官方给出 1 万亿参数、49B 激活的开放权重模型在编码、智能体与多模态上的具体基准,可据此判断开放权重与闭源前沿的差距。

10月1日周四
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者,起步价每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入按输入价的 95% 折扣计费。

    推荐理由:官方给出 Gemini 4 Argon 的定价、输出上限与多项基准成绩,可据此判断前沿模型在长程工程与安全防御上的能力边界。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,整个筛选到候选验证过程仅用一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. Latent Space82

    AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs。World Labs 创始人李飞飞在博客中回顾,公司自 2024 年成立以来构建了图像、视频和空间重建的模型训练团队,并在收购 SceniX 后推进机器人仿真能力。

    推荐理由:AMD 以 82 亿美元收购 World Labs,文中给出收购价与 Atlas 在稀疏重建上的定位,可据此判断空间智能赛道的整合方向。

9月25日周五
  1. Google Research66

    Google Research 发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。