TwelveLabs Pegasus 1.5 上线 Amazon Bedrock
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回所有匹配片段,新增参考图多模态提示和免预索引的即时处理,单次请求可分析最长 2 小时视频,此前 Pegasus 1.2 为 1 小时。
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回所有匹配片段,新增参考图多模态提示和免预索引的即时处理,单次请求可分析最长 2 小时视频,此前 Pegasus 1.2 为 1 小时。
Higgsfield 借助 GPT-6 Astra 把 AI 视频生成时长从 1 分钟延长到 10 分钟以上,同时用 GPT-Image-2.5 提升画面精度,并通过 GPT-Live 打通语音电影制作路径。
Pollo AI 借助 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者将创意转化为精细图像和电影级视频广告。
Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。
推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。
推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。
invideo 借助 GPT-6 Astra 实现更精准的剪辑规划,调色与色彩校正效率提升 3 倍,并在一天内产出 50 个自定义特效。
Higgsfield AI 借助 GPT-6 Astra,一天内上线新视频功能,让小型企业更轻松地制作视频广告,并更快将新创意工具推向市场。
Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频控制能力。
推荐理由:原文列出场景延长、首尾帧插值与 4K 放大等具体能力与开放入口,可据此判断生成视频工作流的变化。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)与 Gemini Omni Flash(gemini-omni-flash-preview)。
推荐理由:两款模型同时开放开发者入口,并给出延迟、单价与视频时长等具体参数,便于判断多模态流水线的成本与可用性。
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并支持用自然语言多轮对话编辑视频。
推荐理由:Gemini Omni 把多模态输入与对话式视频编辑结合,读者可据此判断视频生成工作流的变化。
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档位,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 给出 720p 与 360p 两档本地实时世界模型,读者可据此判断消费级硬件跑交互式生成世界的门槛。
OpenAI 针对视频模型 Sora 2 及新社交创作平台 Sora 应用带来的新型安全挑战,将安全作为设计基础,并以具体防护措施为支撑。
Descript 借助 OpenAI 推理模型实现大规模内容库的自动本地化,在不丢失时间轴与语义的前提下完成多语言视频配音。该方案面向大体量内容库的自动本地化需求,解决了配音中时序与含义难以兼顾的问题。
OpenAI 公布 Sora 信息流的设计理念,主打激发创意、促进连接,并通过个性化推荐、家长控制和强力护栏保障体验安全。
Higgsfield 借助 OpenAI 的 GPT-4.1、GPT-5 和 Sora 2,让创作者仅凭简单输入即可生成电影级、适配社交平台的视频。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,先开放 Waypoint-1-Small,Medium 版本即将推出。
推荐理由:Waypoint-1 把实时交互式视频扩散模型与推理库一并开源,读者可据此了解世界模型从预训练视频微调转向交互优先训练的思路。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简短提示词下也能有更丰富的对白与叙事,并提升角色身份、背景与物体的一致性。
推荐理由:官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体改进,可据此判断移动端短视频工作流的变化。
迪士尼与 OpenAI 达成协议,将 200 多个迪士尼、漫威、皮克斯和星球大战角色引入 Sora,用于粉丝创作的短视频。协议还包含迪士尼在全公司范围使用 ChatGPT Enterprise 和 OpenAI API。
推荐理由:迪士尼与 OpenAI 的授权协议把 200 多个 IP 角色接入 Sora,并附带企业级 ChatGPT 采购,可观察内容版权与 AI 生成视频的合作模式。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。
推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。
OpenAI 发布视频生成模型 Sora 2,支持同步的对话与音效。原文同时说明 Sora 产品已不再提供。
推荐理由:OpenAI 发布新一代视频生成模型 Sora 2,读者可了解其在对话与音效同步上的能力变化。
OpenAI 发布 Sora 2 和 Sora 应用,称二者从底层设计上以安全为基础,以应对先进视频模型与新型社交创作平台带来的新安全问题。官方表示其做法建立在具体防护措施之上。
推荐理由:官方说明 Sora 2 与 Sora 应用在安全机制上的设计取向,可了解视频模型与社交创作平台叠加后的防护思路。
Hugging Face 在 Gradio 中推出可见水印功能,只需一条命令即可为 AI 生成的图像、视频和文本添加水印。图像和视频通过 watermark 参数指定水印文件,文本则在 Chatbot 组件中设置水印,用户复制 AI 回复时自动附带署名。水印支持文件名、图像及 numpy 数组,还可使用 QR 水印承载更多信息。
Hugging Face 开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力,性能随视频变长明显下滑。
Invideo AI 借助 OpenAI 的 GPT-4.1、gpt-image-1 和文本转语音模型,把创意想法在几分钟内转化为专业视频,创作速度提升 10 倍。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Access Token 即可免费使用 Cloudflare 覆盖 335 个地点的全球 TURN 网络,每月免费传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本中提供,超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints 执行,以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Hugging Face 开源了一套三阶段视频数据集构建工具链,用于微调视频生成模型。该工具链支持 yt-dlp 下载、LAION-5B-WatermarkDetection 水印检测、improved-aesthetic-predictor 美学评分、Falconsai/nsfw_image_detection 内容过滤,并用 Florence-2 生成帧级描述。
Hugging Face 发布首期 AI 艺术工具通讯,回顾 2024 年创意 AI 关键进展。图像生成领域从 Unet 转向 DiT 架构与 flow matching。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自己的素材进行扩展、重混和融合,也可完全由文本生成新内容。
推荐理由:OpenAI 官方公布 Sora 的开放入口与分辨率、时长、画幅等具体能力,读者可据此判断可用范围。
电影制作组合 Vallée Duhamel 讲述了 Sora 如何帮助他们构建新的世界。
跨学科艺术家 Minne Atairu 讲述了 Sora 如何帮助她实现自己的创作构想。
电影制作人 Lyndon Barrois 展示了如何将 Sora 用作叙事工具来创造新世界。他分享了使用 Sora 进行故事创作的具体方法。
OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。
推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与模型来源,可据此了解其能力边界。
Hugging Face 发布 FineVideo,一个包含 43k 条视频、3.4k 小时的开源视频数据集,标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由:原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程,可迁移到自建视频数据集。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下生成图像、音频和视频,从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展,但其迭代采样过程导致生成缓慢。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用,并公布了首批使用反馈。
OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术路线,读者可了解其时空 patch 训练思路与生成能力边界。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Hugging Face 发布实验性 demo AI WebTV,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动合成视频与配乐并直播。视频由 zeroscope_v2_576 生成 576x320 片段,可选用 zeroscope_v2_XL 放大至 1024x576,再经 FILM 插帧与 MusicGen 配乐,通过 FFmpeg 推流至 RTMP 服务器。