Hugging Face 发布 FineVideo:43k 条视频、3.4k 小时的开源视频数据集
Hugging Face 发布 FineVideo,一个包含 43k 条视频、3.4k 小时的开源视频数据集,标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由:原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程,可迁移到自建视频数据集。
Google 与 DeepMind 的 AI 动态:Gemini 系列、Veo 视频模型、研究成果与产品生态的持续追踪。
Hugging Face 发布 FineVideo,一个包含 43k 条视频、3.4k 小时的开源视频数据集,标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由:原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程,可迁移到自建视频数据集。
Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个规模,各有预训练基础版和指令微调版,上下文长度 8K tokens,沿用可商用、可微调、可再分发的宽松许可。
推荐理由:梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动,并给出与 Llama 3、Qwen 1.5 的基准对比。
Google 发布视觉语言模型家族 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像与文本并输出文本。
推荐理由:梳理了 PaliGemma 的三种权重类型、分辨率与精度选择,并给出 transformers 推理与微调的可复用代码。
Google 发布代码专用开源模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint,额外用 5000 亿 token 的英文、数学和代码数据训练。
推荐理由:Google 与 Hugging Face 联合发布代码专用 Gemma 系列,给出三种规格与基准对比,便于判断开源代码模型的选型。
Google 发布开源大模型家族 Gemma,包含 2B 和 7B 两种尺寸,各有基础版和指令微调版,上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75,性能与 Mistral 7B 相当。
推荐理由:Google 发布 Gemma 开源模型家族,读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。
Hugging Face 博客图解 RLHF 的完整流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,并用 KL 散度惩罚约束策略偏离初始模型,同时介绍了 TRL、TRLX、RL4LMs 等开源实现及 Anthropic 在 Hub 上发布的数据集。
推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并梳理了 TRL、TRLX、RL4LMs 等开源工具与主要论文,适合作为理解该流程的入门参考。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Colab、Kaggle 或 Google Cloud 的 TPU 上运行 Stable Diffusion 推理。
推荐理由:Hugging Face 官方给出在 TPU 上用 JAX/Flax 并行跑 Stable Diffusion 的完整步骤与实测耗时,可迁移到多设备推理。
Hugging Face 将 Google DeepMind 的 Perceiver IO 加入 Transformers 库,这是首个基于 Transformer、可处理文本、图像、音频、视频、点云等多种模态及其组合的神经网络。
推荐理由:Hugging Face 把 Perceiver IO 接入 Transformers,读者可了解这套统一处理文本、图像、音频、视频的架构如何实现。
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类在两种候选行为中指出哪个更好,来推断人类想要的目标。OpenAI 称,构建安全 AI 系统的一步是免去人类编写目标函数的需要,因为用简单代理替代复杂目标或把复杂目标写偏,可能导致不良甚至危险的行为。
推荐理由:OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法,可了解早期对齐研究的一条思路。