跳到正文

#多模态

今日 0 条
10月12日周一
10月3日周六
  1. The Decoder52

    LEGO-Anything 用编码智能体从单张照片生成 Blender 3D 场景,并发布 LEGO-Bench 基准

    研究团队提出 Image-to-Code 方法,让编码智能体从单张照片迭代编写可执行的 Blender 程序,输出可运行、可编辑、可查询的 3D 场景。为评测效果,团队构建 LEGO-Bench,包含来自 104 个室内外场景的 208 张图像和 443 个注册资产,从有效性、几何精度和外观相似度三个维度打分。

9月25日周五
  1. Google Research66

    Google Research 发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。

9月18日周五
8月26日周三
8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo 基准揭示多模态大模型的空间推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示,模型在静态图像识别上表现明显好于交互式规划任务,且两者均远低于人类水平;失败多出现在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助,跨多步操作仍不可靠。

8月12日周三
  1. Google Research71

    Google 将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并实时推理诊断。

    推荐理由:Google 用 300 场随机对照视频问诊给出 AMIE 多智能体架构的评测细节,可了解实时音视频临床推理的当前边界。

  2. Microsoft Research38

    微软研究院推出 CARE-X:面向临床可用的放射学 VLM,融合辅助监督、奖励对齐学习与工具增强测量

    微软研究院发布研究模型 CARE-X,一个统一胸部 X 光 VLM,结合生成与结构化预测,覆盖报告生成、疾病分类、定位与器械置管评估等任务。它采用强化学习 DAPO 在多任务设置下奖励临床正确性,并在另一项实验中把 Qwen3-VL-4B-Instruct 与确定性测量工具配对,评估直接计算能否改善测量依赖型病症的表现。

7月23日周四
  1. Google Research62

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体

    Google Research 发布论文 SymptomAI,用五个基于 Gemini Flash 2.0 的实验性对话智能体开展症状问诊与鉴别诊断(DDx),共 13917 名受试者参与随机分组研究。

    推荐理由:Google 用 13917 人随机对照研究比较五种 Gemini Flash 2.0 症状问诊智能体,并给出临床专家盲评与可穿戴设备数据交叉验证。

6月17日周三
6月13日周六
6月5日周五
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,优于医生常用的两款 AI 系统;在 140 项问诊技能评估中,AI 有 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体仍更优。

    推荐理由:DeepMind 公开 AI co-clinician 研究计划,给出医生端证据综合与患者端实时多模态问诊的对照评测结果。

4月9日周四
3月18日周三
3月12日周四
  1. Google Research71

    Google 与 BIDMC 开展 AMIE 对话式诊断 AI 真实临床可行性研究

    Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让 AMIE 在门诊初诊前与患者进行文本问诊,由医生通过视频实时监督。

    推荐理由:Google 与 BIDMC 公布 AMIE 在真实门诊的前瞻性可行性研究,给出安全停用次数与诊断一致性等关键数据。

2月18日周三
2月11日周三
  1. Google Research36

    Google Research 推出 DialogLab:开源多智能体群聊对话创作与测试框架

    Google Research 发布开源原型框架 DialogLab,用于创作、模拟和测试动态的人机多方群聊对话,相关论文在 ACM UIST 2025 展示。该框架将对话的社交设定与时间流程解耦,支持拖拽式编排、human control 实时干预和验证仪表盘分析,14 名用户评测显示 human control 模式在参与感、有效性和真实感上评分最高。

2月10日周二
1月23日周五
  1. Google Research34

    Google 小模型分解法实现端侧用户意图提取,效果媲美 Gemini 1.5 Pro

    Google Research 在 EMNLP 2025 发表的论文提出一种分解式工作流,先由小多模态 LLM 逐屏总结用户交互,再从摘要序列中提取意图,在移动端和网页轨迹上均优于 CoT 提示和端到端微调。该方法用 Gemini 1.5 Flash 8B 即达到 Gemini 1.5 Pro 的相当效果,成本与速度仅为后者一小部分,适用于端侧部署。

12月9日周二
12月4日周四
11月25日周二
  1. Google DeepMind62

    AlphaFold 助力解析心血管疾病关键蛋白 apoB100 结构

    密苏里大学的研究者借助 AlphaFold 与冷冻电镜,解析了“坏胆固醇”关键蛋白 apoB100 的结构,该蛋白此前 50 年未能被成功建模。研究先用冷冻电镜拍摄 LDL 颗粒图像,再由物理学家 Cassidy 用 AlphaFold 生成原子级结构预测,并与实验图像比对修正。

    推荐理由:AlphaFold 与冷冻电镜结合解析 apoB100 结构,读者可了解 AI 在结构生物学中的具体协作方式。

11月14日周五
11月13日周四
11月11日周二
  1. Google DeepMind42

    Google DeepMind 研究:让 AI 视觉模型更像人类一样看世界

    Google DeepMind 在 Nature 发表新论文,提出三步对齐方法,用 THINGS 数据集训练适配器生成百万张图像的 AligNet 数据集,再微调其他视觉模型,使其内部表征从杂乱无章变为按动物、食物等类别清晰组织。该方法改善了模型在"odd-one-out"任务上与人类判断的一致性,并提升了鲁棒性与泛化能力。

11月6日周四
11月4日周二
10月30日周四
8月12日周二
7月23日周三
6月6日周五
11月20日周三
  1. Hugging Face Blog40

    BAAI 推出 FlagEval Debate:首个多语言 LLM 辩论竞赛平台

    BAAI 推出 FlagEval Debate 平台,让大模型以辩论方式互相对抗,目前支持英语、中文、阿拉伯语和韩语四种语言的辩论竞赛。该平台采用专家评审与用户投票的双重评估机制,并允许开发者自定义模型参数与对话风格,以解决静态评测和 Chatbot Arena 等平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示,当前大多数模型都能参与辩论。

10月23日周三
9月23日周一
7月25日周四
7月18日周四
4月22日周一
3月15日周五