跳到正文

#多模态

今日 2 条
今天10月20日周二
  1. The Decoder75

    Kling AI 发布 4.0 版本,支持立体声、多语言口型同步并推出轻量 Flash 版

    Kling AI 发布 4.0 版本,单次可生成最长 30 秒视频,支持最多 10 张关键帧图像输入,提示词理解扩展到 8,000 tokens。新版本加入双声道立体声和十余种语言的唇形同步,Omni Reference 单次最多接受 15 个参考素材,并推出最高 720p、20 秒的轻量 Flash 版。Kling 4.0 可通过 MCP 和 CLI 接入,API 定价尚未公布。

  2. AWS Machine Learning Blog55

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock

    TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回所有匹配片段,新增参考图多模态提示和免预索引的即时处理,单次请求可分析最长 2 小时视频,此前 Pegasus 1.2 为 1 小时。

10月17日周六
10月16日周五
  1. The Decoder82

    Meta 发布 Muse Spark Open,816B 参数重返开源权重赛道

    Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,面向编码与智能体任务,拥有 8160 亿参数(激活 420 亿)、最高 100 万 token 上下文,支持文本、图像、视频和音频。

    推荐理由:Meta 重返开源权重赛道,给出 816B 参数、百万 token 上下文与本地部署条件,可对照 Qwen、GLM、Kimi 看开源格局变化。

  2. The Decoder78

    Google 发布 Gemini 4 Argon,瞄准机器人全流程单一模型

    Google 发布面向机器人任务的 Gemini 4 Argon,主打用同一模型完成仿真构建、机器人控制和训练数据评估,并称其更擅长理解空间关系、编写控制代码和从物理角度解读视频。

    推荐理由:Google 用同一模型打通机器人仿真、控制与数据评估,并给出与竞品的基准对比,可据此判断通用机器人模型的路线差异。

  3. Hugging Face Blog88

    Meta 开源 Muse Spark Open:816B 参数多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可输入文本、图像、音频和视频并输出文本。

    推荐理由:Meta 开源 816B 参数 MoE 多模态模型,给出部署、微调与量化运行的完整路径,便于评估自托管成本。

  4. Google DeepMind62

    Google Antigravity 用智能体加速抗菌肽发现

    Google DeepMind 介绍其智能体开发平台 Google Antigravity 新增智能科研工作台,把原本分散在多个数据库的检索压缩到单次会话中,并结合 ProtNLM 扫描 UniProt 中数百万条未表征蛋白序列。

    推荐理由:原文展示了智能体平台把跨库检索与结构分析压缩进单次会话的具体流程,可据此判断科研工作流的改动幅度。

  5. NVIDIA Blog74

    NVIDIA 扩展 Nemotron 家族,发布 120B 的 Super VL 与两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL,这是一个 120B 参数开放模型,面向常驻智能体任务,官方称其多模态智能体任务准确率与自家最大推理模型相当,参数量约为其五分之一,吞吐量最高为同类模型的 5 倍。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出参数、量化与部署入口,便于判断本地智能体的选型空间。

10月15日周四
  1. Hugging Face Blog64

    Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选的思考模式,上下文窗口提升至 262,144 tokens,为 1.0 的 4 倍,并改进了指令遵循与工具调用。

    推荐理由:Apertus 1.5 在 8B 和 70B 上加入图像音频理解与思考模式,并公开训练数据与中间检查点,可观察开放多模态模型的完整训练路径。

10月14日周三
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,今日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 面向开发者、企业和消费者开放,定价为每百万输入 token 2 美元、输出 token 10 美元,缓存输入 token 享 95% 折扣。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型在长程任务上的落地程度。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    推荐理由:官方给出 Argon 在 ERQA 的 87% 成绩与四类机器人工作流示例,可据此判断物理推理模型的落地边界。

10月12日周一
10月11日周日
10月9日周五
  1. The Decoder62

    Anthropic 的 Claude Science 首次绘制完整紫外天图

    Anthropic 的 Claude Science 首次绘制出完整的紫外天空图。该项目由 Claude Science 协调多个 AI 智能体,从多个太空任务下载数据、校准并合并,再用 inpainting 技术补全缺失区域;测试中预测值与实际测量平均偏差约 10%。约翰斯·霍普金斯大学天体物理学家 Brice Ménard 在 Anthropic 网站介绍了这一流程,该图将用作教学材料。

10月8日周四
  1. OpenAI News82

    OpenAI 在 ChatGPT 全球上线 GPT-6 与 Intelligent UI

    OpenAI 宣布 GPT-6 正在 ChatGPT 中面向全球上线,并同步推出 Intelligent UI。官方称新版本响应更快,并带来可视化与可交互的体验,用户可直接在 ChatGPT 中探索和使用。

    推荐理由:OpenAI 官方公布 GPT-6 在 ChatGPT 全球上线,并同步引入 Intelligent UI,读者可据此了解模型与交互形态的同步变化。

  2. TechCrunch · AI82

    OpenAI 随 GPT-6 推出 Intelligent UI,ChatGPT 界面转向可视化交互

    OpenAI 推出名为 Intelligent UI 的新界面,随新模型 GPT-6 于周三开始推送,把大量可视化内容整合进对话,其中不少是可交互的按钮、定制计算器、交互式图表和可编辑图形。

    推荐理由:OpenAI 随 GPT-6 推出可交互的 Intelligent UI,读者可了解 ChatGPT 界面从纯文本转向可视化交互的具体形态与开放节奏。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可把文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用等细节,可据此判断端侧多模态检索的落地边界。

  2. The Decoder68

    Google 发布 EmbeddingGemma 2 多模态嵌入模型

    Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量。该模型参数量为 740M,Google 称其在多模态嵌入基准上超过参数量两倍的竞品,在 Massive Text Embedding Benchmark (Code) 上得分 78.68,较前代 68.76 提升近 10 分。

  3. The Verge · AI34

    苹果、Google 探索"不录像"的 AI 硬件,重新定义"录制"边界

    苹果正研发一款不保存视频录像的智能家居摄像头,改用 AI 将视觉数据转为描述家中情况的文本片段,并支持人脸识别;Google 可穿戴设备负责人 Sandeep Waraich 也提出智能眼镜摄像头可只做图像传感器、不保存任何画面。苹果称 Audio Intelligence 功能不录制音频,原始数据在 S11 处理器安全隔离区处理完后即删除。

  4. Simon Willison22

    Simon Willison 测试 Claude Opus 5.5 作曲能力,结果出人意料

    Simon Willison 让 Claude Opus 5.5 设计文本音乐格式并生成可播放的 artifact,要求达到《猴岛小英雄》初代配乐水准,结果比预期更贴近猴岛主题且质量出人意料地好。他由此猜测,文本模型作曲能力可能与近几个月出现的 3D 图形能力类似,属于新涌现的能力,但需用更多新旧模型做实验才能确认。

10月6日周二
  1. Mistral AI80

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态

    Mistral AI 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、49B 激活参数的原生多模态模型,可在 Mistral Studio 试用预览 API,权重将于本月底发布。

    推荐理由:官方给出 1 万亿参数、49B 激活的开放权重模型在编码、智能体与多模态上的具体基准,可据此判断开放权重与闭源前沿的差距。

  2. Hugging Face Blog24

    Falcon-Emirati-7B:让 LLM 学会阿联酋方言、文化与语感

    Falcon-Emirati-7B 发布,这是一个基于 Falcon-H1-Arabic 的 7B 方言专用模型,专注理解与生成阿联酋阿拉伯语。它沿用 Falcon-H1 混合架构(Mamba 与 Transformer 注意力并行),并构建了真实方言网页数据、MSA 文化语料与受术语表约束的合成数据三路管线。团队通过消融实验摸索方言数据注入量与训练阶段,以平衡真实与合成数据、避免过拟合。

  3. The Decoder71

    Reka AI 发布 19B 全能模型 Rho-1,统一处理文本、图像、视频与机器人控制

    Reka AI 发布研究预览版 Rho-1,这是一个 19B 参数的全能模型,在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放在同一上下文窗口中运行,无需工具调用或外部模型,可实时生成连续视频并即时响应新指令,预测摄像头图像的同一套权重也用于驱动机器人动作。

10月4日周日
10月3日周六
  1. TechCrunch · AI58

    ChatGPT 上线虚拟试穿与收藏功能

    OpenAI 宣布在全球上线两项 ChatGPT 购物功能,包括虚拟试穿服装和配饰,以及把商品保存到应用内 Library 的收藏功能。虚拟试穿以购物结果中的 Try On 按钮呈现,用户可上传自拍或全身照查看上身效果,也可上传商品截图让 ChatGPT 试穿。OpenAI 称新功能基于新发布的 ChatGPT Images 2.5 模型,该模型在光照、纹理、编辑指令遵循和生成延迟上有所改进。