Kling AI 发布 4.0 版本,支持立体声、多语言口型同步并推出轻量 Flash 版
Kling AI 发布 4.0 版本,单次可生成最长 30 秒视频,支持最多 10 张关键帧图像输入,提示词理解扩展到 8,000 tokens。新版本加入双声道立体声和十余种语言的唇形同步,Omni Reference 单次最多接受 15 个参考素材,并推出最高 720p、20 秒的轻量 Flash 版。Kling 4.0 可通过 MCP 和 CLI 接入,API 定价尚未公布。
Kling AI 发布 4.0 版本,单次可生成最长 30 秒视频,支持最多 10 张关键帧图像输入,提示词理解扩展到 8,000 tokens。新版本加入双声道立体声和十余种语言的唇形同步,Omni Reference 单次最多接受 15 个参考素材,并推出最高 720p、20 秒的轻量 Flash 版。Kling 4.0 可通过 MCP 和 CLI 接入,API 定价尚未公布。
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回所有匹配片段,新增参考图多模态提示和免预索引的即时处理,单次请求可分析最长 2 小时视频,此前 Pegasus 1.2 为 1 小时。
Mark Wahlberg 在 TechCrunch Disrupt 上表示,只要用法得当,AI 在电影行业有一席之地,他愿意让 AI 分身延续自己的遗产。他计划在即将主演的 Pete Rose 传记片中用 AI 增强体育场等场景,但反对把想法丢给 ChatGPT 生成剧本、弃用真人演员。他还称若动画剧集《Ted》用其 AI 形象延续数十年,自己也不会反对。
Higgsfield 借助 GPT-6 Astra 把 AI 视频生成时长从 1 分钟延长到 10 分钟以上,同时用 GPT-Image-2.5 提升画面精度,并通过 GPT-Live 打通语音电影制作路径。
Odyssey 面向公众开放世界模型 Odyssey-3 的研究预览,用户可用文本提示词生成可实时探索的交互环境,开发者可申请 API 访问。免费在线 demo 基于 Odyssey-3 Flash,支持第一人称与第三人称视角;基础模型 14B 参数、832 × 480 分辨率,Pro 版支持 1280 × 720。
Ben Affleck 本周因多段采访视频展示其对 AI 技术的理解而走红,他在 GQ 节目中谈及机器学习、神经网络、Transformer、张量、GPU 和推理等概念,并称自己会写 Python 脚本。
Pollo AI 借助 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者将创意转化为精细图像和电影级视频广告。
前 Ramp 工程师 Joowon Kim、Young Kim 和 Arnav Ramu 创办的 AI 广告创意平台 Melius 完成 2500 万美元融资,包括 CRV 领投的 2000 万美元 A 轮和 General Catalyst 领投的 500 万美元种子轮。
Reka AI 发布研究预览版 Rho-1,这是一个 19B 参数的全能模型,在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放在同一上下文窗口中运行,无需工具调用或外部模型,可实时生成连续视频并即时响应新指令,预测摄像头图像的同一套权重也用于驱动机器人动作。
Runway 推出 GWM Worlds 2 研究预览,将高保真视频与音频生成变为实时交互式模拟,并提出 WorldPrompt 输入格式,可固定环境部分要素(含首帧)后生成带时间戳的事件,事件还能实时提示。
Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。
推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。
推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。
invideo 借助 GPT-6 Astra 实现更精准的剪辑规划,调色与色彩校正效率提升 3 倍,并在一天内产出 50 个自定义特效。
Higgsfield AI 借助 GPT-6 Astra,一天内上线新视频功能,让小型企业更轻松地制作视频广告,并更快将新创意工具推向市场。
Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频控制能力。
推荐理由:原文列出场景延长、首尾帧插值与 4K 放大等具体能力与开放入口,可据此判断生成视频工作流的变化。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)与 Gemini Omni Flash(gemini-omni-flash-preview)。
推荐理由:两款模型同时开放开发者入口,并给出延迟、单价与视频时长等具体参数,便于判断多模态流水线的成本与可用性。
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并支持用自然语言多轮对话编辑视频。
推荐理由:Gemini Omni 把多模态输入与对话式视频编辑结合,读者可据此判断视频生成工作流的变化。
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档位,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 给出 720p 与 360p 两档本地实时世界模型,读者可据此判断消费级硬件跑交互式生成世界的门槛。
OpenAI 针对视频模型 Sora 2 及新社交创作平台 Sora 应用带来的新型安全挑战,将安全作为设计基础,并以具体防护措施为支撑。
Descript 借助 OpenAI 推理模型实现大规模内容库的自动本地化,在不丢失时间轴与语义的前提下完成多语言视频配音。该方案面向大体量内容库的自动本地化需求,解决了配音中时序与含义难以兼顾的问题。
OpenAI 公布 Sora 信息流的设计理念,主打激发创意、促进连接,并通过个性化推荐、家长控制和强力护栏保障体验安全。
Higgsfield 借助 OpenAI 的 GPT-4.1、GPT-5 和 Sora 2,让创作者仅凭简单输入即可生成电影级、适配社交平台的视频。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,先开放 Waypoint-1-Small,Medium 版本即将推出。
推荐理由:Waypoint-1 把实时交互式视频扩散模型与推理库一并开源,读者可据此了解世界模型从预训练视频微调转向交互优先训练的思路。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简短提示词下也能有更丰富的对白与叙事,并提升角色身份、背景与物体的一致性。
推荐理由:官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体改进,可据此判断移动端短视频工作流的变化。
迪士尼与 OpenAI 达成协议,将 200 多个迪士尼、漫威、皮克斯和星球大战角色引入 Sora,用于粉丝创作的短视频。协议还包含迪士尼在全公司范围使用 ChatGPT Enterprise 和 OpenAI API。
推荐理由:迪士尼与 OpenAI 的授权协议把 200 多个 IP 角色接入 Sora,并附带企业级 ChatGPT 采购,可观察内容版权与 AI 生成视频的合作模式。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。
推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。
OpenAI 发布视频生成模型 Sora 2,支持同步的对话与音效。原文同时说明 Sora 产品已不再提供。
推荐理由:OpenAI 发布新一代视频生成模型 Sora 2,读者可了解其在对话与音效同步上的能力变化。
OpenAI 发布 Sora 2 和 Sora 应用,称二者从底层设计上以安全为基础,以应对先进视频模型与新型社交创作平台带来的新安全问题。官方表示其做法建立在具体防护措施之上。
推荐理由:官方说明 Sora 2 与 Sora 应用在安全机制上的设计取向,可了解视频模型与社交创作平台叠加后的防护思路。
Hugging Face 在 Gradio 中推出可见水印功能,只需一条命令即可为 AI 生成的图像、视频和文本添加水印。图像和视频通过 watermark 参数指定水印文件,文本则在 Chatbot 组件中设置水印,用户复制 AI 回复时自动附带署名。水印支持文件名、图像及 numpy 数组,还可使用 QR 水印承载更多信息。
Hugging Face 开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力,性能随视频变长明显下滑。
Invideo AI 借助 OpenAI 的 GPT-4.1、gpt-image-1 和文本转语音模型,把创意想法在几分钟内转化为专业视频,创作速度提升 10 倍。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Access Token 即可免费使用 Cloudflare 覆盖 335 个地点的全球 TURN 网络,每月免费传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本中提供,超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints 执行,以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Hugging Face 开源了一套三阶段视频数据集构建工具链,用于微调视频生成模型。该工具链支持 yt-dlp 下载、LAION-5B-WatermarkDetection 水印检测、improved-aesthetic-predictor 美学评分、Falconsai/nsfw_image_detection 内容过滤,并用 Florence-2 生成帧级描述。
Hugging Face 发布首期 AI 艺术工具通讯,回顾 2024 年创意 AI 关键进展。图像生成领域从 Unet 转向 DiT 架构与 flow matching。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自己的素材进行扩展、重混和融合,也可完全由文本生成新内容。
推荐理由:OpenAI 官方公布 Sora 的开放入口与分辨率、时长、画幅等具体能力,读者可据此判断可用范围。
电影制作组合 Vallée Duhamel 讲述了 Sora 如何帮助他们构建新的世界。
跨学科艺术家 Minne Atairu 讲述了 Sora 如何帮助她实现自己的创作构想。
电影制作人 Lyndon Barrois 展示了如何将 Sora 用作叙事工具来创造新世界。他分享了使用 Sora 进行故事创作的具体方法。