Kling AI 发布 4.0 版本,支持立体声、多语言口型同步并推出轻量 Flash 版
Kling AI 发布 4.0 版本,单次可生成最长 30 秒视频,支持最多 10 张关键帧图像输入,提示词理解扩展到 8,000 tokens。新版本加入双声道立体声和十余种语言的唇形同步,Omni Reference 单次最多接受 15 个参考素材,并推出最高 720p、20 秒的轻量 Flash 版。Kling 4.0 可通过 MCP 和 CLI 接入,API 定价尚未公布。
Kling AI 发布 4.0 版本,单次可生成最长 30 秒视频,支持最多 10 张关键帧图像输入,提示词理解扩展到 8,000 tokens。新版本加入双声道立体声和十余种语言的唇形同步,Omni Reference 单次最多接受 15 个参考素材,并推出最高 720p、20 秒的轻量 Flash 版。Kling 4.0 可通过 MCP 和 CLI 接入,API 定价尚未公布。
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回所有匹配片段,新增参考图多模态提示和免预索引的即时处理,单次请求可分析最长 2 小时视频,此前 Pegasus 1.2 为 1 小时。
Odyssey 面向公众开放世界模型 Odyssey-3 的研究预览,用户可用文本提示词生成可实时探索的交互环境,开发者可申请 API 访问。免费在线 demo 基于 Odyssey-3 Flash,支持第一人称与第三人称视角;基础模型 14B 参数、832 × 480 分辨率,Pro 版支持 1280 × 720。
Reka AI 发布研究预览版 Rho-1,这是一个 19B 参数的全能模型,在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放在同一上下文窗口中运行,无需工具调用或外部模型,可实时生成连续视频并即时响应新指令,预测摄像头图像的同一套权重也用于驱动机器人动作。
Runway 推出 GWM Worlds 2 研究预览,将高保真视频与音频生成变为实时交互式模拟,并提出 WorldPrompt 输入格式,可固定环境部分要素(含首帧)后生成带时间戳的事件,事件还能实时提示。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。
推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。
Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频控制能力。
推荐理由:原文列出场景延长、首尾帧插值与 4K 放大等具体能力与开放入口,可据此判断生成视频工作流的变化。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)与 Gemini Omni Flash(gemini-omni-flash-preview)。
推荐理由:两款模型同时开放开发者入口,并给出延迟、单价与视频时长等具体参数,便于判断多模态流水线的成本与可用性。
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并支持用自然语言多轮对话编辑视频。
推荐理由:Gemini Omni 把多模态输入与对话式视频编辑结合,读者可据此判断视频生成工作流的变化。
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档位,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 给出 720p 与 360p 两档本地实时世界模型,读者可据此判断消费级硬件跑交互式生成世界的门槛。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,先开放 Waypoint-1-Small,Medium 版本即将推出。
推荐理由:Waypoint-1 把实时交互式视频扩散模型与推理库一并开源,读者可据此了解世界模型从预训练视频微调转向交互优先训练的思路。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。
推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。
OpenAI 发布视频生成模型 Sora 2,支持同步的对话与音效。原文同时说明 Sora 产品已不再提供。
推荐理由:OpenAI 发布新一代视频生成模型 Sora 2,读者可了解其在对话与音效同步上的能力变化。
OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。
推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与模型来源,可据此了解其能力边界。
OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术路线,读者可了解其时空 patch 训练思路与生成能力边界。