跳到正文

#多模态

今日 2 条
10月3日周六
  2. The Decoder52

    LEGO-Anything 用编码智能体从单张照片生成 Blender 3D 场景，并发布 LEGO-Bench 基准

    研究团队提出 Image-to-Code 方法，让编码智能体从单张照片迭代编写可执行的 Blender 程序，输出可运行、可编辑、可查询的 3D 场景。为评测效果，团队构建 LEGO-Bench，包含来自 104 个室内外场景的 208 张图像和 443 个注册资产，从有效性、几何精度和外观相似度三个维度打分。

10月2日周五
  1. The Verge · AI58

    Suno 上线语音生成功能，可同时生成人声与背景音乐

    AI 音乐平台 Suno 推出语音生成功能 Speech，目前以公开测试形式在网页端和移动端上线，可根据脚本或提示词生成人声，并同时生成配套背景音乐。该功能提供 Simple 和 Advanced 两种模式，Advanced 可自定义脚本并调整 AI 声音性别、语音风格和每次生成的多样性，最长时长约 8 分钟，背景音乐可通过开关关闭。

10月1日周四
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，随后逐步扩展至开发者、企业和消费者，起步价每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入按输入价的 95% 折扣计费。

    推荐理由：官方给出 Gemini 4 Argon 的定价、输出上限与多项基准成绩，可据此判断前沿模型在长程工程与安全防御上的能力边界。

9月29日周二
  1. AWS Machine Learning Blog26

    Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索

    Condé Nast 联合 AWS 生成式 AI 创新中心，基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案，并选用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本。该方案将单次内容检索耗时从 250 分钟降至 2 分钟以内，覆盖超 14 万条视频库，支持自然语言意图搜索、以图搜图和精确时间戳定位。

  2. Microsoft Research62

    微软研究院发布 Quine：面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine，一个面向生物学复杂性的 AI 研究系统，由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究，预测并优先排序数千种化合物，最高排名化合物在湿实验中产生了最大的经典态向基底态转变，整个筛选到候选验证过程仅用一个周末。

    推荐理由：微软研究院公开 Quine 的多模态生物世界模型与实验闭环，并给出胰腺癌化合物筛选的湿实验验证结果。

  3. Latent Space82

    AMD 以 82 亿美元收购 World Labs，Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs。World Labs 创始人李飞飞在博客中回顾，公司自 2024 年成立以来构建了图像、视频和空间重建的模型训练团队，并在收购 SceniX 后推进机器人仿真能力。

    推荐理由：AMD 以 82 亿美元收购 World Labs，文中给出收购价与 Atlas 在稀疏重建上的定位，可据此判断空间智能赛道的整合方向。

9月25日周五
  2. Google Research66

    Google Research 发布 AI 视频联合导演框架，实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架，作为 Gemini 和 Veo 之上的编排层，把长视频生成建模为全局优化与世界状态跟踪问题，以缓解语义漂移和级联失败。

    推荐理由：Google 把长视频生成拆成四个可复用框架，并给出多镜头一致性与角色保持的量化结果，适合关注视频生成工程化路径的读者。

  3. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成，实现带口型同步、自然表情和流畅轮次的视觉化对话。

    推荐理由：官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力，可据此判断企业级多模态交互的落地形态。

9月24日周四
9月23日周三
9月22日周二
  1. Latent Space80

    小米发布 MiMo-V2.6-Pro 1T-A42B 开源权重模型，训练成本 300 万美元

    小米发布 MiMo-V2.6 系列原生全模态开源权重模型，其中 MiMo-V2.6-Pro 为 1.02T 总参数、42B 激活参数，采用 MIT 许可，Artificial Analysis 智能指数为 46，定价为输入 $0.435/M tokens、输出 $0.87/M tokens。

    推荐理由：小米首次进入前沿开源模型序列，其 RL 环境与训练配方一并开源，读者可据此判断开源权重竞争的成本门槛变化。

9月18日周五
9月3日周四
9月2日周三
9月1日周二
8月28日周五
8月26日周三
8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo 基准揭示多模态大模型的空间推理短板

    Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显好于交互式规划任务，且两者均远低于人类水平；失败多出现在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助，跨多步操作仍不可靠。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型，率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T，并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能，首批支持美国手语（ASL）转英文。

    推荐理由：官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式，可了解手语 AI 从实验室进入消费产品的技术取舍。

  2. Google Research71

    Google 将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 实现实时视频临床问诊，可感知非语言线索、引导虚拟体格检查并实时推理诊断。

    推荐理由：Google 用 300 场随机对照视频问诊给出 AMIE 多智能体架构的评测细节，可了解实时音视频临床推理的当前边界。

  3. Microsoft Research38

    微软研究院推出 CARE-X：面向临床可用的放射学 VLM，融合辅助监督、奖励对齐学习与工具增强测量

    微软研究院发布研究模型 CARE-X，一个统一胸部 X 光 VLM，结合生成与结构化预测，覆盖报告生成、疾病分类、定位与器械置管评估等任务。它采用强化学习 DAPO 在多任务设置下奖励临床正确性，并在另一项实验中把 Qwen3-VL-4B-Instruct 与确定性测量工具配对，评估直接计算能否改善测量依赖型病症的表现。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版：364M 开放权重，新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数开放权重模型，支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语，并通过更新训练数据提升了多种既有语言的质量。

    推荐理由：原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据，便于评估自建语音链路的延迟预算。

8月10日周一
8月4日周二
  1. Mistral AI69

    Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。该模型把内容审核建模为策略自适应的问答任务，推理时接受自然语言策略并输出校准后的安全分数，无需重新训练即可统一文本与图像安全评估。官方称其在文本安全上可匹配最多 7 倍参数量的模型，并在多模态审核上取得新的 SOTA。

    推荐理由：3B 开源权重模型以推理时自然语言策略替代固定危害分类，读者可据此判断内容审核的部署方式变化。

7月30日周四
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2，作为机器人的高层大脑，支持视频理解、任务编排与多机器人协作，并可通过 Gemini API、Google AI Studio 使用，Gemini Enterprise Agent Platform 上为私密预览。

    推荐理由：官方给出进度分类、时刻定位与多机协作的具体指标，可据此判断机器人在长任务中的自主完成度。

7月28日周二
7月23日周四
  1. Google Research62

    Google 发布 SymptomAI：面向日常症状评估的对话式 AI 智能体

    Google Research 发布论文 SymptomAI，用五个基于 Gemini Flash 2.0 的实验性对话智能体开展症状问诊与鉴别诊断（DDx），共 13917 名受试者参与随机分组研究。

    推荐理由：Google 用 13917 人随机对照研究比较五种 Gemini Flash 2.0 症状问诊智能体，并给出临床专家盲评与可穿戴设备数据交叉验证。

7月21日周二
7月16日周四
7月15日周三
  1. Hugging Face Blog85

    Thinking Machines 发布 Inkling 多模态大模型及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布 Inkling，一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型，同时推出 276B 总参数 12B 激活的 Inkling-Small。

    推荐理由：原文给出 Inkling 的架构细节、部署配置与多模态评测数据，可据此判断其推理成本与适用场景。

7月8日周三
  1. Mistral AI71

    Mistral 发布 Robostral Navigate 具身导航模型

    Mistral AI 发布首个具身导航模型 Robostral Navigate，这是一个 8B 模型，仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器，在 R2R-CE validation unseen 上达到 76.6% 成功率，比最佳单相机方案高 9.7 个百分点，比使用深度或多相机的最佳系统高 4.5 个百分点。

    推荐理由：Mistral 首个具身导航模型仅用单目 RGB 相机就在 R2R-CE 上超过多传感器方案，可看其训练与强化学习设计。

7月3日周五
7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线，用 Cerebras 加速 Gemma 4 31B 的推理。该架构为开放可替换的级联栈：Nvidia Parakeet 做语音识别，Gemma 4 VLM 在 Cerebras 上推理，阿里 Qwen3TTS 做文本转语音。

    推荐理由：原文给出了可复用的开源语音到语音流水线架构，读者可据此了解各模块如何组合与替换。

6月22日周一