Google 如何用 AI 工具重新定义通用设计以提升无障碍体验
Google 提出 Natively Adaptive Interfaces(NAI)框架,用多模态 AI 工具让 UI 设计从一刀切转向基于情境的动态决策,以 Orchestrator 协调摘要、设置等子智能体替代静态导航。
Google 提出 Natively Adaptive Interfaces(NAI)框架,用多模态 AI 工具让 UI 设计从一刀切转向基于情境的动态决策,以 Orchestrator 协调摘要、设置等子智能体替代静态导航。
Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,支持创建、探索和混编交互式世界。
推荐理由:官方披露了 Project Genie 的三项核心能力与已知限制,读者可据此判断世界模型原型当前能做什么、还差什么。
Google Research 在 EMNLP 2025 发表的论文提出一种分解式工作流,先由小多模态 LLM 逐屏总结用户交互,再从摘要序列中提取意图,在移动端和网页轨迹上均优于 CoT 提示和端到端微调。该方法用 Gemini 1.5 Flash 8B 即达到 Gemini 1.5 Pro 的相当效果,成本与速度仅为后者一小部分,适用于端侧部署。
Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),用统一的编码器-解码器 Transformer 架构完成动态场景的 4D 重建与追踪,通过查询机制并行回答像素在任意时间、任意相机视角下的 3D 位置。
推荐理由:D4RT 把动态场景重建统一进单一框架,并给出相对既有方法的效率倍数与单芯片实测耗时。
Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并保留 2D 图像与文本能力。官方称在内部基准上,CT 病灶分类准确率从 58% 提升到 61%,MRI 从 51% 提升到 65%,MedQA 从 64% 提升到 69%。
推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口,可据此判断医疗多模态模型的可用边界。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简短提示词下也能有更丰富的对白与叙事,并提升角色身份、背景与物体的一致性。
推荐理由:官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体改进,可据此判断移动端短视频工作流的变化。
NVIDIA 发布 Cosmos Reason 2,一款面向物理 AI 的开源推理视觉语言模型,在 Physical AI Bench 和 Physical Reasoning 榜单上位列开源模型第一。
推荐理由:NVIDIA 官方发布 Cosmos Reason 2,给出 2B/8B 规格、256K 上下文与多项评测提升,可据此判断物理 AI 视觉推理的可用边界。
Google DeepMind 与 Google Research 回顾 2025 年 8 大研究突破,模型方面从 3 月 Gemini 2.5 到 11 月 Gemini 3、12 月 Gemini 3 Flash 相继发布,Gemini 3 Pro 登顶 LMArena 并在 MathArena Apex 取得 23.4% 的 SOTA。
Google Research 回顾 2025 年成果:Gemini 3 成为其最强、事实性最高的 LLM,在 SimpleQA Verified 和与 Google DeepMind、Kaggle 联合发布的新 FACTS 基准上达到 SOTA;Gemma 扩展至 140 多种语言。
Mistral 发布文档识别模型 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。
推荐理由:官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与每千页定价,便于评估替换成本。
Google DeepMind 发布 Gemini 3 Flash,将 Gemini 3 的推理能力与 Flash 级别的延迟、效率和成本结合,定价为每 100 万输入 token 0.50 美元、每 100 万输出 token 3 美元。
推荐理由:官方给出 Gemini 3 Flash 的基准分数、定价与上线渠道,可据此判断它在速度与成本上的取舍。
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite,在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准,并将 Grounding 升级至 v2,共含 3,513 个公开样例。
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark(MSEB),用于标准化评测声音嵌入模型的八项听觉能力,涵盖检索、推理、分类、转录、分割、聚类、重排与重建。
Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。
推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的当前水位。
密苏里大学的研究者借助 AlphaFold 与冷冻电镜,解析了“坏胆固醇”关键蛋白 apoB100 的结构,该蛋白此前 50 年未能被成功建模。研究先用冷冻电镜拍摄 LDL 颗粒图像,再由物理学家 Cassidy 用 AlphaFold 生成原子级结构预测,并与实验图像比对修正。
推荐理由:AlphaFold 与冷冻电镜结合解析 apoB100 结构,读者可了解 AI 在结构生物学中的具体协作方式。
Google 在 Gemini 应用中上线图片验证功能,用户上传图片并提问即可借助 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容添加水印,Google 此前已用 SynthID Detector 与记者和媒体从业者测试。
推荐理由:Gemini 应用新增图片 AI 生成验证入口,读者可了解 SynthID 水印检测的实际用法与后续格式扩展方向。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),一个基于 Gemini 3 Pro 的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式通过 Gemini API 逐步开放。
推荐理由:官方给出新图像模型的分辨率、文字渲染与搜索接地等能力细节,可据此判断多模态应用的选型与成本取舍。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打图像生成与编辑,支持在图中直接渲染多语言文字、接入 Google Search 实时信息,并可混合最多 14 张图像、保持最多 5 人的一致性,提供 2K 和 4K 分辨率。
推荐理由:官方给出 Nano Banana Pro 在文字渲染、多图合成与分辨率上的具体升级,以及各产品线的开放节奏。
Google DeepMind 发布 Gemini 3,称其为自家最智能的模型,Gemini 3 Pro 在各项主要 AI 基准上超过此前版本,编码能力也强于 2.5 Pro。
推荐理由:官方给出 Gemini 3 Pro 的基准成绩、API 定价与配套开发平台,可据此判断它在智能体编码和多模态场景中的定位。
Google DeepMind 发布 Gemini 3,首发 Gemini 3 Pro 预览版,并同步接入 AI Mode 搜索、Gemini 应用、AI Studio、Vertex AI、Gemini CLI 及新智能体开发平台 Google Antigravity。
推荐理由:官方给出 Gemini 3 Pro 在推理、多模态与编码基准上的具体分数,并同步公布首发落地产品与开发者入口。
Google 发布生成式 UI 实现,由模型针对任意提示词自动设计并编码出网页、游戏、工具等交互界面,相关论文为《Generative UI: LLMs are Effective UI Generators》。
推荐理由:Google 把生成式 UI 落到 Gemini 应用与搜索 AI Mode,读者可据此判断交互式界面生成的实际形态与当前限制。
Google DeepMind 联合 Google Research 发布 Natural Forests of the World 2020,这是首张全球一致、10 米分辨率、可区分天然林与其他树木覆盖的地图,独立数据集验证准确率达 92.2%。
Google DeepMind 发布 SIMA 2,将 Gemini 模型嵌入智能体核心,使其从指令跟随者升级为能推理目标、与用户对话并自我改进的交互式游戏伙伴。
推荐理由:SIMA 2 把 Gemini 的推理能力接入 3D 游戏智能体,读者可了解从指令跟随到自主推理与自我改进的路径。
Google DeepMind 在 Nature 发表新论文,提出三步对齐方法,用 THINGS 数据集训练适配器生成百万张图像的 AligNet 数据集,再微调其他视觉模型,使其内部表征从杂乱无章变为按动物、食物等类别清晰组织。该方法改善了模型在"odd-one-out"任务上与人类判断的一致性,并提升了鲁棒性与泛化能力。
Google 发布可预测森林砍伐风险的基准数据集,基于纯卫星输入和 vision transformer 架构,分辨率达 30 米,覆盖 2000-2024 年。
OpenAI 发布 IndQA,一个用于评估 AI 系统印度语言能力的新基准,覆盖 12 种语言和 10 个知识领域,由领域专家参与构建,重点考察文化理解与推理能力。
Google Research 在 Research@MTV 活动上公布三项最新突破:Earth AI、DeepSomatic 与 Quantum Echoes。
Google Research 发布 StreetReaderAI,一个基于 Gemini 的街景无障碍原型,为盲人和低视力用户提供实时 AI 场景描述、多模态 AI 对话以及语音或键盘导航。
Hugging Face 为开源工具 AI Sheets 发布重大更新,新增视觉支持,可在表格中查看、分析、提取图像信息,并生成和编辑图像,全程无需写代码。图像列支持提取文本、图像问答、目标检测、上色、添加文字等操作,文本列支持摘要、关键词提取和翻译,每个 AI 动作由提示词和模型定义。
推荐理由:官方给出视觉能力在表格中的完整用法与模型对比,可据此判断图像数据整理流程是否值得迁移。
Hugging Face 发布指南,介绍如何用开源权重模型搭建 OCR 流水线,并新增 Chandra 与 OlmOCR-2 两个模型及 OlmOCR 评测分数。
Hugging Face 发布教程,介绍用 Optimum Intel 和 OpenVINO 在 Intel CPU 上三步本地运行 SmolVLM2-256M-Video-Instruct 视觉语言模型,无需 GPU。第一步将模型转换为 OpenVINO IR,第二步用 8-bit 权重量化或静态量化压缩模型,第三步执行推理,并可通过 device="gpu" 在 Intel GPU 上加载。
Hugging Face 博客发布三部分系列文章,记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。
推荐理由:记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程,对端侧部署有可迁移的参考价值。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。
推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。
OpenAI 发布视频生成模型 Sora 2,支持同步的对话与音效。原文同时说明 Sora 产品已不再提供。
推荐理由:OpenAI 发布新一代视频生成模型 Sora 2,读者可了解其在对话与音效同步上的能力变化。
Hugging Face 发布 Smol2Operator,用两阶段训练把无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成可操作图形界面的智能体,在 ScreenSpot-v2 上从 0% 提升到 61.71%。
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建安全、教师引导的 AI 工具,已服务超 100 万个课堂,提升参与度、监督能力和个性化学习。
Hugging Face 发布 FilBench 评测套件,覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言,包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务,并已评测 20+ 个 SOTA LLM。
OpenAI 发布 GPT-5,称其为目前最强的 AI 系统,在智能水平上较此前所有模型有显著跃升。GPT-5 在编码、数学、写作、健康、视觉感知等方向达到当前最优表现。
推荐理由:OpenAI 官方发布 GPT-5,读者可据此了解新模型在编码、数学、写作等方向的能力定位。
Hugging Face 的 TRL 新增面向视觉语言模型的对齐方法,包括混合偏好优化 MPO、多模态 GRPO 以及 Qwen 提出的 GSPO,并扩展 RLOO 和 Online DPO 支持 VLM。
推荐理由:TRL 新增多种多模态对齐算法与原生 SFT 支持,读者可据此判断 VLM 后训练工具链的可用范围。
Mistral 用 LoRA 微调 Pixtral-12B,在 Aerial Image Dataset(AID)卫星图像分类任务上显著优于基座模型。基座模型在 Playground、Stadium 等易混类别上出错,还会幻觉出不存在的类别名;微调后分类指标提升,且无需大量超参数调优,可通过 Mistral 微调 API 或 LaPlateforme UI 完成。