跳到正文

#视频

今日 1 条
今天10月20日周二
  1. AWS Machine Learning Blog55

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock

    TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回所有匹配片段,新增参考图多模态提示和免预索引的即时处理,单次请求可分析最长 2 小时视频,此前 Pegasus 1.2 为 1 小时。

10月14日周三
10月9日周五
9月25日周五
  1. Google Research66

    Google Research 发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可复用框架,并给出多镜头一致性与角色保持的量化结果,适合关注视频生成工程化路径的读者。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。

9月23日周三
9月21日周一
8月28日周五
7月1日周三
5月18日周一
4月9日周四
  1. Hugging Face Blog62

    Overworld 发布 Waypoint-1.5 实时视频世界模型,消费级 GPU 可跑 720p 60FPS

    Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档位,后续将支持 Apple Silicon Mac。

    推荐理由:Waypoint-1.5 给出 720p 与 360p 两档本地实时世界模型,读者可据此判断消费级硬件跑交互式生成世界的门槛。

3月23日周一
3月6日周五
2月3日周二
1月21日周三
1月20日周二
  1. Hugging Face Blog74

    Overworld 发布实时交互视频扩散模型 Waypoint-1

    Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,先开放 Waypoint-1-Small,Medium 版本即将推出。

    推荐理由:Waypoint-1 把实时交互式视频扩散模型与推理库一并开源,读者可据此了解世界模型从预训练视频微调转向交互优先训练的思路。

1月14日周三
  1. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,支持原生竖屏与 1080p/4K 放大

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简短提示词下也能有更丰富的对白与叙事,并提升角色身份、背景与物体的一致性。

    推荐理由:官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体改进,可据此判断移动端短视频工作流的变化。

12月11日周四
  1. OpenAI News62

    迪士尼与 OpenAI 达成协议,200 多个角色将进入 Sora

    迪士尼与 OpenAI 达成协议,将 200 多个迪士尼、漫威、皮克斯和星球大战角色引入 Sora,用于粉丝创作的短视频。协议还包含迪士尼在全公司范围使用 ChatGPT Enterprise 和 OpenAI API。

    推荐理由:迪士尼与 OpenAI 的授权协议把 200 多个 IP 角色接入 Sora,并附带企业级 ChatGPT 采购,可观察内容版权与 AI 生成视频的合作模式。

9月30日周二
  1. OpenAI News78

    OpenAI 发布 Sora 2 视频与音频生成模型系统卡

    OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。

    推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。

  2. OpenAI News67

    OpenAI 发布 Sora 2 与 Sora 应用,强调安全优先

    OpenAI 发布 Sora 2 和 Sora 应用,称二者从底层设计上以安全为基础,以应对先进视频模型与新型社交创作平台带来的新安全问题。官方表示其做法建立在具体防护措施之上。

    推荐理由:官方说明 Sora 2 与 Sora 应用在安全机制上的设计取向,可了解视频模型与社交创作平台叠加后的防护思路。

9月15日周一
  1. Hugging Face Blog22

    Hugging Face 用 Gradio 为 AI 生成内容添加可见水印

    Hugging Face 在 Gradio 中推出可见水印功能,只需一条命令即可为 AI 生成的图像、视频和文本添加水印。图像和视频通过 watermark 参数指定水印文件,文本则在 Chatbot 组件中设置水印,用户复制 AI 回复时自动附带署名。水印支持文件名、图像及 numpy 数组,还可使用 QR 水印承载更多信息。

7月23日周三
7月17日周四
4月9日周三
2月24日周一
2月12日周三
1月31日周五
1月27日周一
  1. Hugging Face Blog62

    Diffusers 团队盘点开源视频生成模型现状与优化方案

    Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。

    推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。

12月9日周一
  1. OpenAI News82

    OpenAI 视频生成模型 Sora 上线 sora.com

    OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自己的素材进行扩展、重混和融合,也可完全由文本生成新内容。

    推荐理由:OpenAI 官方公布 Sora 的开放入口与分辨率、时长、画幅等具体能力,读者可据此判断可用范围。

  2. OpenAI News72

    OpenAI 发布 Sora 视频生成模型系统卡

    OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。

    推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与模型来源,可据此了解其能力边界。

9月23日周一
6月20日周四
3月25日周一
2月15日周四
  1. OpenAI News88

    OpenAI 发布视频生成模型 Sora,可生成一分钟高清视频

    OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。

    推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术路线,读者可了解其时空 patch 训练思路与生成能力边界。

7月20日周四
7月17日周一