跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

140条精选相关主题图像生成AI 视频语音与音频

最新精选

第 61–80 条 · 共 140 条
3月4日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash-Lite

    Google DeepMind 推出 Gemini 3.1 Flash-Lite,定位为 Gemini 3 系列中速度最快、成本最低的模型,即日起通过 Gemini API 在 Google AI Studio 和 Vertex AI 面向开发者预览。

    推荐理由:官方给出价格、速度与基准数据,可据此判断高并发场景下是否值得替换现有轻量模型。

2月27日周五
2月19日周四
  1. Google DeepMind71

    Gemini 应用上线 Lyria 3 音乐生成,支持文本与图片生成 30 秒曲目

    Google DeepMind 的最新生成式音乐模型 Lyria 3 以 beta 形式在 Gemini 应用上线,用户用文本或上传图片、视频即可生成 30 秒曲目,歌词由模型自动生成,并可控制风格、人声和节奏。

    推荐理由:官方披露 Lyria 3 在 Gemini 应用中的生成方式、时长与 SynthID 音频验证能力,可据此判断音乐生成的使用边界。

1月30日周五
  1. Google DeepMind71

    Google DeepMind 向美国 AI Ultra 订阅用户开放 Project Genie 世界模型原型

    Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,支持创建、探索和混编交互式世界。

    推荐理由:官方披露了 Project Genie 的三项核心能力与已知限制,读者可据此判断世界模型原型当前能做什么、还差什么。

1月16日周五
  1. Google DeepMind62

    Google DeepMind 发布 4D 重建与追踪模型 D4RT

    Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),用统一的编码器-解码器 Transformer 架构完成动态场景的 4D 重建与追踪,通过查询机制并行回答像素在任意时间、任意相机视角下的 3D 位置。

    推荐理由:D4RT 把动态场景重建统一进单一框架,并给出相对既有方法的效率倍数与单芯片实测耗时。

1月14日周三
  1. Google Research62

    Google 发布 MedGemma 1.5 4B 与医疗语音模型 MedASR

    Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并保留 2D 图像与文本能力。官方称在内部基准上,CT 病灶分类准确率从 58% 提升到 61%,MRI 从 51% 提升到 65%,MedQA 从 64% 提升到 69%。

    推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口,可据此判断医疗多模态模型的可用边界。

  2. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,支持原生竖屏与 1080p/4K 放大

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简短提示词下也能有更丰富的对白与叙事,并提升角色身份、背景与物体的一致性。

    推荐理由:官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体改进,可据此判断移动端短视频工作流的变化。

1月6日周二
12月17日周三
  1. Mistral AI66

    Mistral 发布 OCR 3,表单与手写识别胜率较上一代提升 74%

    Mistral 发布文档识别模型 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与每千页定价,便于评估替换成本。

12月3日周三
  1. Mistral AI82

    Mistral 发布 Mistral 3 系列模型,含 675B 参数的 Mistral Large 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的当前水位。

11月25日周二
  1. Google DeepMind62

    AlphaFold 助力解析心血管疾病关键蛋白 apoB100 结构

    密苏里大学的研究者借助 AlphaFold 与冷冻电镜,解析了“坏胆固醇”关键蛋白 apoB100 的结构,该蛋白此前 50 年未能被成功建模。研究先用冷冻电镜拍摄 LDL 颗粒图像,再由物理学家 Cassidy 用 AlphaFold 生成原子级结构预测,并与实验图像比对修正。

    推荐理由:AlphaFold 与冷冻电镜结合解析 apoB100 结构,读者可了解 AI 在结构生物学中的具体协作方式。

11月20日周四
  1. Google DeepMind62

    Google 在 Gemini 应用中上线 AI 图片验证功能

    Google 在 Gemini 应用中上线图片验证功能,用户上传图片并提问即可借助 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容添加水印,Google 此前已用 SynthID Detector 与记者和媒体从业者测试。

    推荐理由:Gemini 应用新增图片 AI 生成验证入口,读者可了解 SynthID 水印检测的实际用法与后续格式扩展方向。

  2. Google DeepMind78

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),一个基于 Gemini 3 Pro 的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式通过 Gemini API 逐步开放。

    推荐理由:官方给出新图像模型的分辨率、文字渲染与搜索接地等能力细节,可据此判断多模态应用的选型与成本取舍。

  3. Google DeepMind87

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打图像生成与编辑,支持在图中直接渲染多语言文字、接入 Google Search 实时信息,并可混合最多 14 张图像、保持最多 5 人的一致性,提供 2K 和 4K 分辨率。

    推荐理由:官方给出 Nano Banana Pro 在文字渲染、多图合成与分辨率上的具体升级,以及各产品线的开放节奏。

11月19日周三
  1. Google Research82

    Google 推出生成式 UI,在 Gemini 应用和搜索 AI Mode 上线动态界面实验

    Google 发布生成式 UI 实现,由模型针对任意提示词自动设计并编码出网页、游戏、工具等交互界面,相关论文为《Generative UI: LLMs are Effective UI Generators》。

    推荐理由:Google 把生成式 UI 落到 Gemini 应用与搜索 AI Mode,读者可据此判断交互式界面生成的实际形态与当前限制。

11月13日周四
10月21日周二
  1. Hugging Face Blog62

    Hugging Face AI Sheets 新增视觉支持

    Hugging Face 为开源工具 AI Sheets 发布重大更新,新增视觉支持,可在表格中查看、分析、提取图像信息,并生成和编辑图像,全程无需写代码。图像列支持提取文本、图像问答、目标检测、上色、添加文字等操作,文本列支持摘要、关键词提取和翻译,每个 AI 动作由提示词和模型定义。

    推荐理由:官方给出视觉能力在表格中的完整用法与模型对比,可据此判断图像数据整理流程是否值得迁移。