跳到正文

#多模态

今日 2 条
2月5日周四
1月30日周五
  1. Google DeepMind71

    Google DeepMind 向美国 AI Ultra 订阅用户开放 Project Genie 世界模型原型

    Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,支持创建、探索和混编交互式世界。

    推荐理由:官方披露了 Project Genie 的三项核心能力与已知限制,读者可据此判断世界模型原型当前能做什么、还差什么。

1月23日周五
  1. Google Research34

    Google 小模型分解法实现端侧用户意图提取,效果媲美 Gemini 1.5 Pro

    Google Research 在 EMNLP 2025 发表的论文提出一种分解式工作流,先由小多模态 LLM 逐屏总结用户交互,再从摘要序列中提取意图,在移动端和网页轨迹上均优于 CoT 提示和端到端微调。该方法用 Gemini 1.5 Flash 8B 即达到 Gemini 1.5 Pro 的相当效果,成本与速度仅为后者一小部分,适用于端侧部署。

1月16日周五
  1. Google DeepMind62

    Google DeepMind 发布 4D 重建与追踪模型 D4RT

    Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),用统一的编码器-解码器 Transformer 架构完成动态场景的 4D 重建与追踪,通过查询机制并行回答像素在任意时间、任意相机视角下的 3D 位置。

    推荐理由:D4RT 把动态场景重建统一进单一框架,并给出相对既有方法的效率倍数与单芯片实测耗时。

1月14日周三
  1. Google Research62

    Google 发布 MedGemma 1.5 4B 与医疗语音模型 MedASR

    Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并保留 2D 图像与文本能力。官方称在内部基准上,CT 病灶分类准确率从 58% 提升到 61%,MRI 从 51% 提升到 65%,MedQA 从 64% 提升到 69%。

    推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口,可据此判断医疗多模态模型的可用边界。

  2. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,支持原生竖屏与 1080p/4K 放大

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简短提示词下也能有更丰富的对白与叙事,并提升角色身份、背景与物体的一致性。

    推荐理由:官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体改进,可据此判断移动端短视频工作流的变化。

1月6日周二
12月24日周三
12月19日周五
12月17日周三
  1. Mistral AI66

    Mistral 发布 OCR 3,表单与手写识别胜率较上一代提升 74%

    Mistral 发布文档识别模型 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与每千页定价,便于评估替换成本。

12月9日周二
12月4日周四
12月3日周三
  1. Mistral AI82

    Mistral 发布 Mistral 3 系列模型,含 675B 参数的 Mistral Large 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的当前水位。

11月25日周二
  1. Google DeepMind62

    AlphaFold 助力解析心血管疾病关键蛋白 apoB100 结构

    密苏里大学的研究者借助 AlphaFold 与冷冻电镜,解析了“坏胆固醇”关键蛋白 apoB100 的结构,该蛋白此前 50 年未能被成功建模。研究先用冷冻电镜拍摄 LDL 颗粒图像,再由物理学家 Cassidy 用 AlphaFold 生成原子级结构预测,并与实验图像比对修正。

    推荐理由:AlphaFold 与冷冻电镜结合解析 apoB100 结构,读者可了解 AI 在结构生物学中的具体协作方式。

11月20日周四
  1. Google DeepMind62

    Google 在 Gemini 应用中上线 AI 图片验证功能

    Google 在 Gemini 应用中上线图片验证功能,用户上传图片并提问即可借助 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容添加水印,Google 此前已用 SynthID Detector 与记者和媒体从业者测试。

    推荐理由:Gemini 应用新增图片 AI 生成验证入口,读者可了解 SynthID 水印检测的实际用法与后续格式扩展方向。

  2. Google DeepMind78

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),一个基于 Gemini 3 Pro 的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式通过 Gemini API 逐步开放。

    推荐理由:官方给出新图像模型的分辨率、文字渲染与搜索接地等能力细节,可据此判断多模态应用的选型与成本取舍。

  3. Google DeepMind87

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打图像生成与编辑,支持在图中直接渲染多语言文字、接入 Google Search 实时信息,并可混合最多 14 张图像、保持最多 5 人的一致性,提供 2K 和 4K 分辨率。

    推荐理由:官方给出 Nano Banana Pro 在文字渲染、多图合成与分辨率上的具体升级,以及各产品线的开放节奏。

11月19日周三
  1. Google Research82

    Google 推出生成式 UI,在 Gemini 应用和搜索 AI Mode 上线动态界面实验

    Google 发布生成式 UI 实现,由模型针对任意提示词自动设计并编码出网页、游戏、工具等交互界面,相关论文为《Generative UI: LLMs are Effective UI Generators》。

    推荐理由:Google 把生成式 UI 落到 Gemini 应用与搜索 AI Mode,读者可据此判断交互式界面生成的实际形态与当前限制。

11月14日周五
11月13日周四
11月11日周二
  1. Google DeepMind42

    Google DeepMind 研究:让 AI 视觉模型更像人类一样看世界

    Google DeepMind 在 Nature 发表新论文,提出三步对齐方法,用 THINGS 数据集训练适配器生成百万张图像的 AligNet 数据集,再微调其他视觉模型,使其内部表征从杂乱无章变为按动物、食物等类别清晰组织。该方法改善了模型在"odd-one-out"任务上与人类判断的一致性,并提升了鲁棒性与泛化能力。

11月6日周四
11月4日周二
10月31日周五
10月30日周四
10月21日周二
  1. Hugging Face Blog62

    Hugging Face AI Sheets 新增视觉支持

    Hugging Face 为开源工具 AI Sheets 发布重大更新,新增视觉支持,可在表格中查看、分析、提取图像信息,并生成和编辑图像,全程无需写代码。图像列支持提取文本、图像问答、目标检测、上色、添加文字等操作,文本列支持摘要、关键词提取和翻译,每个 AI 动作由提示词和模型定义。

    推荐理由:官方给出视觉能力在表格中的完整用法与模型对比,可据此判断图像数据整理流程是否值得迁移。

10月15日周三
10月2日周四
  1. Hugging Face Blog62

    用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践

    Hugging Face 博客发布三部分系列文章,记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。

    推荐理由:记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程,对端侧部署有可迁移的参考价值。

9月30日周二
  1. OpenAI News78

    OpenAI 发布 Sora 2 视频与音频生成模型系统卡

    OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。

    推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。

9月23日周二
9月22日周一
8月12日周二
8月7日周四
  1. OpenAI News82

    OpenAI 发布 GPT-5

    OpenAI 发布 GPT-5,称其为目前最强的 AI 系统,在智能水平上较此前所有模型有显著跃升。GPT-5 在编码、数学、写作、健康、视觉感知等方向达到当前最优表现。

    推荐理由:OpenAI 官方发布 GPT-5,读者可据此了解新模型在编码、数学、写作等方向的能力定位。

8月1日周五