跳到正文

#多模态

今日 1 条
今天10月20日周二
  1. AWS Machine Learning Blog55

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock

    TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回所有匹配片段,新增参考图多模态提示和免预索引的即时处理,单次请求可分析最长 2 小时视频,此前 Pegasus 1.2 为 1 小时。

10月16日周五
  1. Hugging Face Blog88

    Meta 开源 Muse Spark Open:816B 参数多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可输入文本、图像、音频和视频并输出文本。

    推荐理由:Meta 开源 816B 参数 MoE 多模态模型,给出部署、微调与量化运行的完整路径,便于评估自托管成本。

  2. Google DeepMind62

    Google Antigravity 用智能体加速抗菌肽发现

    Google DeepMind 介绍其智能体开发平台 Google Antigravity 新增智能科研工作台,把原本分散在多个数据库的检索压缩到单次会话中,并结合 ProtNLM 扫描 UniProt 中数百万条未表征蛋白序列。

    推荐理由:原文展示了智能体平台把跨库检索与结构分析压缩进单次会话的具体流程,可据此判断科研工作流的改动幅度。

  3. NVIDIA Blog74

    NVIDIA 扩展 Nemotron 家族,发布 120B 的 Super VL 与两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL,这是一个 120B 参数开放模型,面向常驻智能体任务,官方称其多模态智能体任务准确率与自家最大推理模型相当,参数量约为其五分之一,吞吐量最高为同类模型的 5 倍。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出参数、量化与部署入口,便于判断本地智能体的选型空间。

10月15日周四
  1. Hugging Face Blog64

    Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选的思考模式,上下文窗口提升至 262,144 tokens,为 1.0 的 4 倍,并改进了指令遵循与工具调用。

    推荐理由:Apertus 1.5 在 8B 和 70B 上加入图像音频理解与思考模式,并公开训练数据与中间检查点,可观察开放多模态模型的完整训练路径。

10月14日周三
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,今日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 面向开发者、企业和消费者开放,定价为每百万输入 token 2 美元、输出 token 10 美元,缓存输入 token 享 95% 折扣。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型在长程任务上的落地程度。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    推荐理由:官方给出 Argon 在 ERQA 的 87% 成绩与四类机器人工作流示例,可据此判断物理推理模型的落地边界。

10月8日周四
  1. OpenAI News82

    OpenAI 在 ChatGPT 全球上线 GPT-6 与 Intelligent UI

    OpenAI 宣布 GPT-6 正在 ChatGPT 中面向全球上线,并同步推出 Intelligent UI。官方称新版本响应更快,并带来可视化与可交互的体验,用户可直接在 ChatGPT 中探索和使用。

    推荐理由:OpenAI 官方公布 GPT-6 在 ChatGPT 全球上线,并同步引入 Intelligent UI,读者可据此了解模型与交互形态的同步变化。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可把文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用等细节,可据此判断端侧多模态检索的落地边界。

10月6日周二
  1. Mistral AI80

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态

    Mistral AI 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、49B 激活参数的原生多模态模型,可在 Mistral Studio 试用预览 API,权重将于本月底发布。

    推荐理由:官方给出 1 万亿参数、49B 激活的开放权重模型在编码、智能体与多模态上的具体基准,可据此判断开放权重与闭源前沿的差距。

  2. Hugging Face Blog24

    Falcon-Emirati-7B:让 LLM 学会阿联酋方言、文化与语感

    Falcon-Emirati-7B 发布,这是一个基于 Falcon-H1-Arabic 的 7B 方言专用模型,专注理解与生成阿联酋阿拉伯语。它沿用 Falcon-H1 混合架构(Mamba 与 Transformer 注意力并行),并构建了真实方言网页数据、MSA 文化语料与受术语表约束的合成数据三路管线。团队通过消融实验摸索方言数据注入量与训练阶段,以平衡真实与合成数据、避免过拟合。

10月1日周四
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者,起步价每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入按输入价的 95% 折扣计费。

    推荐理由:官方给出 Gemini 4 Argon 的定价、输出上限与多项基准成绩,可据此判断前沿模型在长程工程与安全防御上的能力边界。

9月29日周二
  1. AWS Machine Learning Blog26

    Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索

    Condé Nast 联合 AWS 生成式 AI 创新中心,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,并选用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本。该方案将单次内容检索耗时从 250 分钟降至 2 分钟以内,覆盖超 14 万条视频库,支持自然语言意图搜索、以图搜图和精确时间戳定位。

  2. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,整个筛选到候选验证过程仅用一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google Research66

    Google Research 发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。

9月24日周四
9月23日周三
9月18日周五
9月3日周四
9月2日周三
9月1日周二
8月28日周五
8月26日周三
8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo 基准揭示多模态大模型的空间推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示,模型在静态图像识别上表现明显好于交互式规划任务,且两者均远低于人类水平;失败多出现在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助,跨多步操作仍不可靠。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能,首批支持美国手语(ASL)转英文。

    推荐理由:官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可了解手语 AI 从实验室进入消费产品的技术取舍。

  2. Google Research71

    Google 将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并实时推理诊断。

    推荐理由:Google 用 300 场随机对照视频问诊给出 AMIE 多智能体架构的评测细节,可了解实时音视频临床推理的当前边界。

  3. Microsoft Research38

    微软研究院推出 CARE-X:面向临床可用的放射学 VLM,融合辅助监督、奖励对齐学习与工具增强测量

    微软研究院发布研究模型 CARE-X,一个统一胸部 X 光 VLM,结合生成与结构化预测,覆盖报告生成、疾病分类、定位与器械置管评估等任务。它采用强化学习 DAPO 在多任务设置下奖励临床正确性,并在另一项实验中把 Qwen3-VL-4B-Instruct 与确定性测量工具配对,评估直接计算能否改善测量依赖型病症的表现。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开放权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。

8月10日周一
8月4日周二
  1. Mistral AI69

    Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。该模型把内容审核建模为策略自适应的问答任务,推理时接受自然语言策略并输出校准后的安全分数,无需重新训练即可统一文本与图像安全评估。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源权重模型以推理时自然语言策略替代固定危害分类,读者可据此判断内容审核的部署方式变化。

7月30日周四
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,作为机器人的高层大脑,支持视频理解、任务编排与多机器人协作,并可通过 Gemini API、Google AI Studio 使用,Gemini Enterprise Agent Platform 上为私密预览。

    推荐理由:官方给出进度分类、时刻定位与多机协作的具体指标,可据此判断机器人在长任务中的自主完成度。

7月28日周二
7月23日周四
  1. Google Research62

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体

    Google Research 发布论文 SymptomAI,用五个基于 Gemini Flash 2.0 的实验性对话智能体开展症状问诊与鉴别诊断(DDx),共 13917 名受试者参与随机分组研究。

    推荐理由:Google 用 13917 人随机对照研究比较五种 Gemini Flash 2.0 症状问诊智能体,并给出临床专家盲评与可穿戴设备数据交叉验证。

7月21日周二
7月16日周四