Google Research 发布 AI 视频联合导演框架,实现连贯长视频生成
Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。
推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。
Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。
推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。
Hugging Face 开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力,性能随视频变长明显下滑。
Hugging Face 发布 FineVideo,一个包含 43k 条视频、3.4k 小时的开源视频数据集,标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由:原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程,可迁移到自建视频数据集。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下生成图像、音频和视频,从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展,但其迭代采样过程导致生成缓慢。