开源开发者指南:欧盟 AI 法案(EU AI Act)要点解读
Hugging Face 发布开源开发者指南,解读已正式生效的欧盟 AI 法案。法案按风险分级监管,仅通用目的 AI(GPAI)模型被直接监管,训练算力超 10^25 FLOPs 的模型被归为系统性风险;有限风险系统需向用户披露其正在与 AI 交互。Hugging Face 提供模型卡、数据集卡、Gradio 水印、退出机制与个人数据脱敏等工具帮助开发者准备合规。
Hugging Face 发布开源开发者指南,解读已正式生效的欧盟 AI 法案。法案按风险分级监管,仅通用目的 AI(GPAI)模型被直接监管,训练算力超 10^25 FLOPs 的模型被归为系统性风险;有限风险系统需向用户披露其正在与 AI 交互。Hugging Face 提供模型卡、数据集卡、Gradio 水印、退出机制与个人数据脱敏等工具帮助开发者准备合规。
Hugging Face 发布 SmolVLM 系列 2B 视觉语言模型,包含 Base、Synthetic 和 Instruct 三个版本,模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由:2B 视觉语言模型给出显存占用与吞吐对比,可据此判断端侧多模态部署的可行边界。
Hugging Face 正在重新设计 Hub 的上传与下载架构,引入内容寻址存储(CAS)和自定义传输协议,采用“简单读取、智能写入”的思路,在字节层面分析文件以加速传输。新方案中读取仍由 S3 和 CloudFront 支撑,写入则通过 CAS 按 chunk 校验并只传输新增部分,压缩 tensor 文件(如 Safetensors)有望将上传速度提升 10-25%。
Hugging Face 与 LLM-jp 联合推出 Open Japanese LLM Leaderboard,用 llm-jp-eval 评测套件覆盖 16 项任务,从自然语言推理、机器翻译、摘要、问答到代码生成、数学推理和人类考试,均以 4-shot 方式运行。
Hugging Face 介绍了基于 LayerSkip 的 self-speculative decoding,用同一 LLM 的早期层生成 draft token、深层验证,从而加速文本生成并节省显存。
Hugging Face 的 Xet 团队提出用内容定义分块(CDC)替代 Git LFS 的文件级存储,只传输和保存被修改的 chunk。在 CORD-19 数据集基准中,Xet 方案平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
Hugging Face 上线 Judge Arena,让用户对两个 LLM 评委的评分和评语进行盲投,投票结果汇总为按小时更新的 Elo 排行榜。平台首批纳入 18 个模型,涵盖 GPT-4o、GPT-4 Turbo、Claude 3.5 Sonnet、Llama 3.1 405B/70B/8B、Qwen 2.5 7B/72B 等开源与闭源模型。
Hugging Face Hub 支持托管 TB 级数据集,并提供 Dataset Viewer、全文搜索、排序、SQL Console 及 Pandas、Polars、DuckDB 等第三方库的一行代码加载能力。
Hugging Face 在 PyCharm 中推出集成功能,开发者右键选择 "Insert HF Model" 即可搜索并插入模型代码,例如 microsoft/Phi-3.5-vision-instruct,无需打开浏览器就能在十分钟内跑通图像文本对话。
Argilla 2.4 推出无代码数据集构建功能,用户可直接在 UI 中从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,方便社区或团队协作标注,用于微调与模型评测。Argilla 是 Hugging Face 旗下免费开源的数据中心工具,仍保留 Python SDK 供进一步定制。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型与任意模型族的辅助模型配对,无需共享 tokenizer。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法,读者可了解无需同族小模型即可加速推理的思路与实测数据。
Digital Green 在 CGIAR 主导的 GAIA 项目中为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系,用于评估其 RAG 管线的回答质量。
Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,均以开放权重形式发布。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:Google DeepMind 与 Hugging Face 把文本水印做成可直接调用的生成接口,读者可据此了解其配置方式与检测流程。
Hugging Face 发布 Hugging Face Generative AI Services(HUGS),一套零配置的优化推理微服务,用于在自有基础设施上部署开源模型。
推荐理由:HUGS 把开源模型的优化部署从数周压缩到分钟级,并给出兼容 OpenAI API 的迁移路径,适合关注自托管推理成本的团队参考。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式数据集精炼(adversarial dataset refinement)方法改进数据质量。
dottxt 与 Hugging Face 合作发布 outlines-core,这是 outlines 结构化生成核心算法的 Rust 移植版,0.1.0 的 Python 绑定已上线。
推荐理由:Outlines 核心算法用 Rust 重写并发布 0.1.0,读者可了解结构化生成在速度与可移植性上的变化。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的落地条件。
Hugging Face 宣布与 Protect AI 合作,将后者的 Guardian 扫描器集成进平台扫描套件,所有公开模型仓库在推送文件后会自动接受扫描。Guardian 可检测 pickle 及 Keras Lambda 层等格式的任意代码执行漏洞,平台已扫描数亿个文件,并同步改版前端展示扫描结果。
Hugging Face 发布 Speech-to-Speech(S2S)级联流水线,整合 VAD、STT、语言模型与 TTS,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
Stability AI 发布 Stable Diffusion 3.5,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:原文给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练路径,读者可据此评估消费级显卡上的可用性。
Keras 从第一天起就支持 Llama 3.2,可直接从 Hugging Face 的 safetensors checkpoint 加载,包括 3.2 版本,需要转换时即时完成。
Hugging Face 修复了 Transformers Trainer 中梯度累积与全批量训练损失不一致的问题,该问题由 Unsloth 团队报告。修复方案让默认损失函数在梯度累积时按所有非 padding token 总数计算损失,并新增 loss_function 属性与 LOSS_MAPPING,允许用户传入自定义损失函数。用户可从 main 分支安装以获取修复。
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计,发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
Hugging Face 与 Dask 结合,用 FineWeb-Edu 分类器处理 FineWeb 数据集,从本地 pandas 的 100 行扩展到云端多 GPU 的 2.11 亿行。
Hugging Face 发布 Gradio 5 稳定版,开发者可用几行 Python 构建生产级机器学习 Web 应用,通过 pip install --upgrade gradio 升级。
推荐理由:Gradio 5 的稳定版发布,列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
Intel Labs 与 Hugging Face 提出动态推测解码(dynamic speculative decoding),根据草稿模型对每个 token 的置信度动态调整推测前瞻长度,最高可加速文本生成 2.7 倍。
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果:追加 1 万行可去重 99.1%,仅多占 20MB;但修改一行因列头含绝对偏移量只去重 89%,需额外 230MB,删除一行则使后半文件全部重写。团队提出改用相对偏移量、按行组做内容定义分块两种改进思路,并希望与 Apache Arrow 社区合作落地。
Hugging Face 发布 Open FinLLM Leaderboard,为金融领域大语言模型提供专门评测框架。该榜单覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务,采用零样本评测,指标包括 Accuracy、F1、ROUGE 和 MCC。
Hugging Face 发布 BenCzechMark,首个面向捷克语的大语言模型综合评测套件,包含 50 个任务、9 个类别,其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型,任务覆盖阅读理解、事实知识、语法错误检测、数学推理、自然语言推理、命名实体识别与情感分析等,并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face 发布教程,介绍如何把 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格。教程提供 InstantTexture 库,一条 pip 命令即可将顶点着色的 .obj 网格转换为带纹理的 .glb 文件,并详解用 xatlas 生成 UV 贴图、重心坐标插值填充纹理,再经修复、中值滤波、高斯模糊和降采样消除空洞的完整流程。
Meta 发布 Llama 3.2 系列共 10 个开放权重模型,包括 5 个多模态模型和 5 个纯文本模型,均已上线 Hugging Face。
推荐理由:Hugging Face 与 Meta 同步放出 10 个开放权重模型,并给出端侧运行与单卡微调的具体路径。
Hugging Face 的 Daily Papers 页面已收录超 3,700 篇论文、订阅者超 12k,作者可一键认领论文并关联到自己的账号。用户还能提交论文、在评论区与作者直接对话,并通过 @librarian-bot 获取相似论文推荐。页面支持多语言评论与翻译,并可将论文关联的模型、数据集和 demo 集中展示。
Hugging Face 发布 FineVideo,一个包含 43k 条视频、3.4k 小时的开源视频数据集,标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由:原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程,可迁移到自建视频数据集。
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR,并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,无需从零预训练。他们用 BitNet 架构微调 Llama3 8B,其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调,模型以 HF1BitLLM 组织发布,在 MMLU 上超过 Llama 1 7B。
推荐理由:原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录,可迁移到其他模型的低比特微调。
Hugging Face 在 Hub 的每个数据集上新增 SQL Console,点击即可在浏览器内用 DuckDB WASM 直接查询数据集,无需后端依赖。支持完整 DuckDB 语法、结果导出为 parquet,并可通过链接分享公开数据集的查询结果;内存上限约 3GB,暂不支持 hf:// 协议。
Hugging Face 在 HuggingChat 上线 Community Tools,用户可以把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具,并借此扩展 HuggingChat 的多模态能力,用于理解图像、生成视频或文本转语音。
推荐理由:官方给出把任意 Space 变成 HuggingChat 工具的具体步骤,读者可据此把图像、视频、语音和 RAG 能力接入对话。
Hugging Face 发布 Accelerate 1.0.0 首个候选版本,可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由:Accelerate 1.0 候选版发布,梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动,便于评估升级成本。