Hugging Face 发文:AI 智能体已来,我们该怎么做?
Hugging Face 发布文章指出,AI 智能体是基于 LLM 构建、能在数字世界中自主行动的系统,其风险随自主性等级上升而增加,因此建议不要开发可自行编写并执行代码的完全自主智能体。文章按自主程度将智能体分为五级,从模型不影响程序流程到模型自行编写并执行新代码,并认为半自主智能体在特定自主水平、任务范围和人类控制方式下可能收益大于风险。
Hugging Face 发布文章指出,AI 智能体是基于 LLM 构建、能在数字世界中自主行动的系统,其风险随自主性等级上升而增加,因此建议不要开发可自行编写并执行代码的完全自主智能体。文章按自主程度将智能体分为五级,从模型不影响程序流程到模型自行编写并执行新代码,并认为半自主智能体在特定自主水平、任务范围和人类控制方式下可能收益大于风险。
Hugging Face 发布多语言视觉文档检索嵌入模型 vdr-2b-multi-v1,可直接编码文档页面截图,无需 OCR 或分块即可跨语言检索。模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作训练,覆盖意大利语、西班牙语、英语、法语和德语,并同步开源含 50 万样本的 vdr-multilingual-train 数据集。
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算,发现模型越大排放越高但排行榜得分增长递减,MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳,Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的轻量库,核心是 CodeAgent,即让智能体用代码而非 JSON 编写动作,并支持通过 E2B 在沙箱中执行。
推荐理由:Hugging Face 官方发布轻量智能体库,给出代码写动作的设计取舍与开源模型对比,可据此判断自建 Agent 的实现路径。
Hugging Face 发布教程,介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由:文章用 PyTorch 内存快照拆解训练各阶段显存占用,并给出可复用的显存估算公式。
NVIDIA 推出 LogitsProcessorZoo,一组模块化 logits 处理器,可控制序列长度、强制关键短语、引导多选题答案,并与 Hugging Face 的 generate 方法完全兼容。该库通过直接修改语言模型头部的预测分数实现细粒度控制,安装命令为 pip install logits-processor-zoo。
Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。
推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B,一个基于完全开放数据训练的混合 Mamba2 模型,在 vLLM 中相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型,参数规模均在 100 亿以下。
推荐理由:Falcon3 系列覆盖 1B 到 10B 五款开源模型,给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4(第 5 代 Xeon,Emerald Rapids,支持 AMX)与 N2(第 3 代 Xeon,Ice Lake,仅 AVX-512)两款 96 vCPU 实例上,对文本嵌入和文本生成两类智能体 AI 负载做了对比。
Hugging Face 发布 Synthetic Data Generator,一个无代码应用,用户用自然语言描述需求即可借助 LLM 生成自定义数据集。工具目前支持文本分类和聊天数据集,分别约每分钟生成 50 和 20 个样本,底层由 distilabel 和免费的 Hugging Face text-generation API 驱动。
推荐理由:原文给出从提示词到数据集再到模型的完整无代码流程,读者可据此判断合成数据工具的实际可用边界。
Hugging Face 与 Entalpic 联合发布开源项目 LeMaterial,并推出首个数据集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD 三大材料数据库,形成 670 万条条目、7 种材料属性的统一数据格式,采用 CC-BY-4.0 许可。
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供,AWS 客户可直接部署并调用 Bedrock 的 Agents、Knowledge Bases、Guardrails 等 API。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,并附带可直接使用的偏好数据集与 flux-dev-lora-finetune。
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena,测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型,共 7 个 LLM,通过 Gradio 界面并行对话。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器,文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种参数规格,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 仅有 3B 版本。
推荐理由:Google 新视觉语言模型给出 3B 到 28B 三种规格与三档分辨率,可据此判断微调选型空间。
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与排行榜 AraGen,采用新的 3C3H 评估指标,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。
Capital Fund Management(CFM)借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核,微调出的小模型在金融 NER 任务上准确率最高提升 6.4%,推理成本较大模型降低最多 80 倍。
Hugging Face 发布开源开发者指南,解读已正式生效的欧盟 AI 法案。法案按风险分级监管,仅通用目的 AI(GPAI)模型被直接监管,训练算力超 10^25 FLOPs 的模型被归为系统性风险;有限风险系统需向用户披露其正在与 AI 交互。Hugging Face 提供模型卡、数据集卡、Gradio 水印、退出机制与个人数据脱敏等工具帮助开发者准备合规。
Hugging Face 发布 SmolVLM 系列 2B 视觉语言模型,包含 Base、Synthetic 和 Instruct 三个版本,模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由:2B 视觉语言模型给出显存占用与吞吐对比,可据此判断端侧多模态部署的可行边界。
Hugging Face 正在重新设计 Hub 的上传与下载架构,引入内容寻址存储(CAS)和自定义传输协议,采用“简单读取、智能写入”的思路,在字节层面分析文件以加速传输。新方案中读取仍由 S3 和 CloudFront 支撑,写入则通过 CAS 按 chunk 校验并只传输新增部分,压缩 tensor 文件(如 Safetensors)有望将上传速度提升 10-25%。
Hugging Face 与 LLM-jp 联合推出 Open Japanese LLM Leaderboard,用 llm-jp-eval 评测套件覆盖 16 项任务,从自然语言推理、机器翻译、摘要、问答到代码生成、数学推理和人类考试,均以 4-shot 方式运行。
Hugging Face 介绍了基于 LayerSkip 的 self-speculative decoding,用同一 LLM 的早期层生成 draft token、深层验证,从而加速文本生成并节省显存。
Hugging Face 的 Xet 团队提出用内容定义分块(CDC)替代 Git LFS 的文件级存储,只传输和保存被修改的 chunk。在 CORD-19 数据集基准中,Xet 方案平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
Hugging Face 上线 Judge Arena,让用户对两个 LLM 评委的评分和评语进行盲投,投票结果汇总为按小时更新的 Elo 排行榜。平台首批纳入 18 个模型,涵盖 GPT-4o、GPT-4 Turbo、Claude 3.5 Sonnet、Llama 3.1 405B/70B/8B、Qwen 2.5 7B/72B 等开源与闭源模型。
Hugging Face Hub 支持托管 TB 级数据集,并提供 Dataset Viewer、全文搜索、排序、SQL Console 及 Pandas、Polars、DuckDB 等第三方库的一行代码加载能力。
Hugging Face 在 PyCharm 中推出集成功能,开发者右键选择 "Insert HF Model" 即可搜索并插入模型代码,例如 microsoft/Phi-3.5-vision-instruct,无需打开浏览器就能在十分钟内跑通图像文本对话。
Argilla 2.4 推出无代码数据集构建功能,用户可直接在 UI 中从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,方便社区或团队协作标注,用于微调与模型评测。Argilla 是 Hugging Face 旗下免费开源的数据中心工具,仍保留 Python SDK 供进一步定制。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型与任意模型族的辅助模型配对,无需共享 tokenizer。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法,读者可了解无需同族小模型即可加速推理的思路与实测数据。
Digital Green 在 CGIAR 主导的 GAIA 项目中为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系,用于评估其 RAG 管线的回答质量。
Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,均以开放权重形式发布。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:Google DeepMind 与 Hugging Face 把文本水印做成可直接调用的生成接口,读者可据此了解其配置方式与检测流程。
Hugging Face 发布 Hugging Face Generative AI Services(HUGS),一套零配置的优化推理微服务,用于在自有基础设施上部署开源模型。
推荐理由:HUGS 把开源模型的优化部署从数周压缩到分钟级,并给出兼容 OpenAI API 的迁移路径,适合关注自托管推理成本的团队参考。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式数据集精炼(adversarial dataset refinement)方法改进数据质量。
dottxt 与 Hugging Face 合作发布 outlines-core,这是 outlines 结构化生成核心算法的 Rust 移植版,0.1.0 的 Python 绑定已上线。
推荐理由:Outlines 核心算法用 Rust 重写并发布 0.1.0,读者可了解结构化生成在速度与可移植性上的变化。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的落地条件。
Hugging Face 宣布与 Protect AI 合作,将后者的 Guardian 扫描器集成进平台扫描套件,所有公开模型仓库在推送文件后会自动接受扫描。Guardian 可检测 pickle 及 Keras Lambda 层等格式的任意代码执行漏洞,平台已扫描数亿个文件,并同步改版前端展示扫描结果。
Hugging Face 发布 Speech-to-Speech(S2S)级联流水线,整合 VAD、STT、语言模型与 TTS,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
Stability AI 发布 Stable Diffusion 3.5,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:原文给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练路径,读者可据此评估消费级显卡上的可用性。
Keras 从第一天起就支持 Llama 3.2,可直接从 Hugging Face 的 safetensors checkpoint 加载,包括 3.2 版本,需要转换时即时完成。