Diffusers 团队盘点开源视频生成模型现状与优化方案
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。
Hugging Face 为 smolagents 加入视觉支持,可在智能体流程中原生使用视觉语言模型。图片既能在 run 方法中一次性传入并存入 TaskStep 的 task_images,也能通过 step_callbacks 在每步把截图写入 ActionStep 的 observation_images。
推荐理由:官方给出 smolagents 接入视觉语言模型的两条路径与回调写法,可据此改造现有智能体流程。
Hugging Face 发布 SmolVLM-256M 和 SmolVLM-500M 两款视觉语言模型,其中 256M 被称为全球最小的 VLM,共提供两个 base 和两个指令微调共四个 checkpoint。
推荐理由:SmolVLM 家族新增 256M 与 500M 两个小尺寸多模态模型,读者可据此了解小模型在视觉语言任务上的取舍与部署方式。
Hugging Face 与 FriendliAI 达成合作,将 FriendliAI Endpoints 作为部署选项集成进 Hugging Face Hub 的“Deploy this model”按钮,支持一键部署开源或自定义生成式 AI 模型。
Hugging Face 为 Text-Generation-Inference(TGI)引入 TGI Backends 架构,通过 Rust 的 Backend trait 把 HTTP 服务与调度层同推理引擎解耦,使 TGI 可作为统一前端层接入不同后端。
Hugging Face 发布方法,用 Sentence Transformers 训练静态嵌入模型,在 CPU 上比主流嵌入模型快 100 到 400 倍,同时保留大部分质量。
推荐理由:原文公开了静态嵌入模型的完整训练配方与两个已发布模型,读者可据此在 CPU 上复现高效嵌入方案。
Hugging Face 发布多语言视觉文档检索嵌入模型 vdr-2b-multi-v1,可直接编码文档页面截图,无需 OCR 或分块即可跨语言检索。模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作训练,覆盖意大利语、西班牙语、英语、法语和德语,并同步开源含 50 万样本的 vdr-multilingual-train 数据集。
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算,发现模型越大排放越高但排行榜得分增长递减,MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳,Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的轻量库,核心是 CodeAgent,即让智能体用代码而非 JSON 编写动作,并支持通过 E2B 在沙箱中执行。
推荐理由:Hugging Face 官方发布轻量智能体库,给出代码写动作的设计取舍与开源模型对比,可据此判断自建 Agent 的实现路径。
NVIDIA 推出 LogitsProcessorZoo,一组模块化 logits 处理器,可控制序列长度、强制关键短语、引导多选题答案,并与 Hugging Face 的 generate 方法完全兼容。该库通过直接修改语言模型头部的预测分数实现细粒度控制,安装命令为 pip install logits-processor-zoo。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型,参数规模均在 100 亿以下。
推荐理由:Falcon3 系列覆盖 1B 到 10B 五款开源模型,给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
Hugging Face 发布 Synthetic Data Generator,一个无代码应用,用户用自然语言描述需求即可借助 LLM 生成自定义数据集。工具目前支持文本分类和聊天数据集,分别约每分钟生成 50 和 20 个样本,底层由 distilabel 和免费的 Hugging Face text-generation API 驱动。
推荐理由:原文给出从提示词到数据集再到模型的完整无代码流程,读者可据此判断合成数据工具的实际可用边界。
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供,AWS 客户可直接部署并调用 Bedrock 的 Agents、Knowledge Bases、Guardrails 等 API。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,并附带可直接使用的偏好数据集与 flux-dev-lora-finetune。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器,文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种参数规格,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 仅有 3B 版本。
推荐理由:Google 新视觉语言模型给出 3B 到 28B 三种规格与三档分辨率,可据此判断微调选型空间。
Hugging Face 发布开源开发者指南,解读已正式生效的欧盟 AI 法案。法案按风险分级监管,仅通用目的 AI(GPAI)模型被直接监管,训练算力超 10^25 FLOPs 的模型被归为系统性风险;有限风险系统需向用户披露其正在与 AI 交互。Hugging Face 提供模型卡、数据集卡、Gradio 水印、退出机制与个人数据脱敏等工具帮助开发者准备合规。
Hugging Face 发布 SmolVLM 系列 2B 视觉语言模型,包含 Base、Synthetic 和 Instruct 三个版本,模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由:2B 视觉语言模型给出显存占用与吞吐对比,可据此判断端侧多模态部署的可行边界。
Hugging Face 正在重新设计 Hub 的上传与下载架构,引入内容寻址存储(CAS)和自定义传输协议,采用“简单读取、智能写入”的思路,在字节层面分析文件以加速传输。新方案中读取仍由 S3 和 CloudFront 支撑,写入则通过 CAS 按 chunk 校验并只传输新增部分,压缩 tensor 文件(如 Safetensors)有望将上传速度提升 10-25%。
Hugging Face 与 LLM-jp 联合推出 Open Japanese LLM Leaderboard,用 llm-jp-eval 评测套件覆盖 16 项任务,从自然语言推理、机器翻译、摘要、问答到代码生成、数学推理和人类考试,均以 4-shot 方式运行。
Hugging Face 介绍了基于 LayerSkip 的 self-speculative decoding,用同一 LLM 的早期层生成 draft token、深层验证,从而加速文本生成并节省显存。
BAAI 推出 FlagEval Debate 平台,让大模型以辩论方式互相对抗,目前支持英语、中文、阿拉伯语和韩语四种语言的辩论竞赛。该平台采用专家评审与用户投票的双重评估机制,并允许开发者自定义模型参数与对话风格,以解决静态评测和 Chatbot Arena 等平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示,当前大多数模型都能参与辩论。
Hugging Face 的 Xet 团队提出用内容定义分块(CDC)替代 Git LFS 的文件级存储,只传输和保存被修改的 chunk。在 CORD-19 数据集基准中,Xet 方案平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型,含 1B 参数视觉编码器和 128K 上下文窗口,可容纳至少 30 张高分辨率图像。
推荐理由:官方给出 Pixtral Large 在多项多模态基准上的对比数据与开放权重许可,读者可据此判断其与 GPT-4o、Gemini-1.5 Pro 的位置。
Hugging Face Hub 支持托管 TB 级数据集,并提供 Dataset Viewer、全文搜索、排序、SQL Console 及 Pandas、Polars、DuckDB 等第三方库的一行代码加载能力。
Hugging Face 在 PyCharm 中推出集成功能,开发者右键选择 "Insert HF Model" 即可搜索并插入模型代码,例如 microsoft/Phi-3.5-vision-instruct,无需打开浏览器就能在十分钟内跑通图像文本对话。
Argilla 2.4 推出无代码数据集构建功能,用户可直接在 UI 中从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,方便社区或团队协作标注,用于微调与模型评测。Argilla 是 Hugging Face 旗下免费开源的数据中心工具,仍保留 Python SDK 供进一步定制。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型与任意模型族的辅助模型配对,无需共享 tokenizer。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法,读者可了解无需同族小模型即可加速推理的思路与实测数据。
Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,均以开放权重形式发布。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:Google DeepMind 与 Hugging Face 把文本水印做成可直接调用的生成接口,读者可据此了解其配置方式与检测流程。
Hugging Face 发布 Hugging Face Generative AI Services(HUGS),一套零配置的优化推理微服务,用于在自有基础设施上部署开源模型。
推荐理由:HUGS 把开源模型的优化部署从数周压缩到分钟级,并给出兼容 OpenAI API 的迁移路径,适合关注自托管推理成本的团队参考。
Hugging Face 宣布与 Protect AI 合作,将后者的 Guardian 扫描器集成进平台扫描套件,所有公开模型仓库在推送文件后会自动接受扫描。Guardian 可检测 pickle 及 Keras Lambda 层等格式的任意代码执行漏洞,平台已扫描数亿个文件,并同步改版前端展示扫描结果。
Stability AI 发布 Stable Diffusion 3.5,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:原文给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练路径,读者可据此评估消费级显卡上的可用性。
Keras 从第一天起就支持 Llama 3.2,可直接从 Hugging Face 的 safetensors checkpoint 加载,包括 3.2 版本,需要转换时即时完成。
Hugging Face 修复了 Transformers Trainer 中梯度累积与全批量训练损失不一致的问题,该问题由 Unsloth 团队报告。修复方案让默认损失函数在梯度累积时按所有非 padding token 总数计算损失,并新增 loss_function 属性与 LOSS_MAPPING,允许用户传入自定义损失函数。用户可从 main 分支安装以获取修复。
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计,发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
Hugging Face 发布 Gradio 5 稳定版,开发者可用几行 Python 构建生产级机器学习 Web 应用,通过 pip install --upgrade gradio 升级。
推荐理由:Gradio 5 的稳定版发布,列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
Meta 发布 Llama 3.2 系列共 10 个开放权重模型,包括 5 个多模态模型和 5 个纯文本模型,均已上线 Hugging Face。
推荐理由:Hugging Face 与 Meta 同步放出 10 个开放权重模型,并给出端侧运行与单卡微调的具体路径。
Hugging Face 的 Daily Papers 页面已收录超 3,700 篇论文、订阅者超 12k,作者可一键认领论文并关联到自己的账号。用户还能提交论文、在评论区与作者直接对话,并通过 @librarian-bot 获取相似论文推荐。页面支持多语言评论与翻译,并可将论文关联的模型、数据集和 demo 集中展示。
Hugging Face 发布 FineVideo,一个包含 43k 条视频、3.4k 小时的开源视频数据集,标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由:原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程,可迁移到自建视频数据集。
Mistral 宣布 la Plateforme 推出免费额度,并对全线模型降价,其中 Mistral Small 与 Codestral 输入输出价格均下调 80%,Mistral Large 下调 33%。
推荐理由:Mistral 一次性公布免费额度、全线降价与新小模型,读者可据此判断其 API 成本与自部署选择。