OpenAI 发布 Sora 视频生成模型系统卡
OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。
推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与模型来源,可据此了解其能力边界。
OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。
推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与模型来源,可据此了解其能力边界。
Hugging Face 发布 FineVideo,一个包含 43k 条视频、3.4k 小时的开源视频数据集,标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由:原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程,可迁移到自建视频数据集。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下生成图像、音频和视频,从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展,但其迭代采样过程导致生成缓慢。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用,并公布了首批使用反馈。
OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术路线,读者可了解其时空 patch 训练思路与生成能力边界。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Hugging Face 发布实验性 demo AI WebTV,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动合成视频与配乐并直播。视频由 zeroscope_v2_576 生成 576x320 片段,可选用 zeroscope_v2_XL 放大至 1024x576,再经 FILM 插帧与 MusicGen 配乐,通过 FFmpeg 推流至 RTMP 服务器。
Hugging Face 发布博客梳理文本到视频模型的发展脉络,指出该任务比文本到图像更难,需保证帧间时空一致性。文章回顾了从早期 GAN、VAE 到 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 方案,再到当前以扩散模型为主的第三波浪潮,并分析了算力成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
OpenAI 对 GPT-3 进行微调,用于驱动并规模化"代客制作"的视频创作。原文未披露微调数据规模、具体合作方或性能指标。