如何用 distilabel 打造 Argilla 2.0 聊天机器人
Hugging Face 博客展示了如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集,微调领域专用嵌入模型,再搭建向量数据库,并将 Gradio 应用部署到 Hugging Face Space,交互记录存入 Argilla 用于持续评估改进。
Hugging Face 博客展示了如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集,微调领域专用嵌入模型,再搭建向量数据库,并将 Gradio 应用部署到 Hugging Face Space,交互记录存入 Argilla 用于持续评估改进。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。
Hugging Face Hub 与 KerasHub 实现共享模型保存格式,Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma,模型可无缝使用 TensorFlow、JAX 或 PyTorch 后端,需将 keras 升级至 3.3.3 以上。
Hugging Face 正在 Dataset Hub 上实验一项基于开源 PII 检测工具 Presidio 的新功能,可为数据集生成 PII 存在情况报告,帮助用户在训练前做出判断。Presidio 依靠检测模式和机器学习模型识别 PII,在一份预训练数据集示例中检测到少量邮箱和敏感 PII。数据集所有者也可用该报告在发布前验证自身的 PII 过滤流程。
Hugging Face 的 TRL 库现已支持对视觉语言模型(VLM)进行直接偏好优化(DPO),并提供了完整训练指南。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集,该 DPO 实现同时支持 Llava 1.5 和 PaliGemma 等模型。
Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Banque des Territoires(CDC 集团)、Polyconseil 与 Hugging Face 合作,为法国校园生态改造项目 EduRénov 开发基于 RAG 的主权数据方案,首阶段已完成。该方案用于优化 BdT 专家与建筑所属社区之间大量邮件沟通,目标支持 10,000 个公立学校设施改造、5 年内节能 40%,项目已提供 20 亿欧元贷款和 5000 万欧元前期工程资金。
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能,可按文本、图像、音频等模态及最小/最大行数过滤数据集。行数信息覆盖所有支持格式的数据集,超大数据集则基于前 5GB 内容估算总行数。新筛选器可与语言、任务、许可证等已有条件组合使用。
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub,可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%,排名第一,比第二名高 4 个百分点;测试集得分 33.3%,排名第二,并在 Level 3 难题上取得最佳平均分。
推荐理由:Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节,包括工具设计、安全解释器与规划策略,可迁移到自建智能体系统。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个规模,各有预训练基础版和指令微调版,上下文长度 8K tokens,沿用可商用、可微调、可再分发的宽松许可。
推荐理由:梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动,并给出与 Llama 3、Qwen 1.5 的基准对比。
XLSCOUT 发布专为专利与知识产权场景打造的嵌入模型 ParaEmbed 2.0,基于专家标注的多领域专利数据微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 发布《伦理与社会通讯 #6》,聚焦高质量数据对 AI 开发的重要性。文章指出好数据并非只是准确或量大,而是契合特定用途,需具备相关性、全面性、时效性并减少偏见,同时强调数据质量能提升模型表现、泛化能力与效率,并推动公平与可问责。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集,吸引超 385 人参与,并被用于构建 SPIN 等新模型。
视觉沟通软件公司 Prezi 加入 Hugging Face Expert Support Program,将更小、更高效的开放模型整合进其 ML 工作流。其旗舰产品 Prezi AI 通过提示词自动生成演示草稿,专家建议在检索流程中加入开源 re-ranker 模型,以更低成本、更快速度找到最佳图文素材。
Hugging Face 发布 BigCodeBench,一个面向 LLM 代码生成的新基准,包含 1,140 个函数级任务,要求模型调用 139 个库中的多个函数作为工具,每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting,使其在混合精度下与 DeepSpeed 行为对齐,并新增低精度模式供显存受限场景使用。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布,可通过 Diffusers 调用。
推荐理由:原文给出 SD3 Medium 的架构变化、Diffusers 集成与显存优化实测数据,读者可据此判断本地部署门槛。
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 之外的在线 RLHF 训练算法。
Hugging Face Embedding Container for Amazon SageMaker 正式 GA,AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Hugging Face 宣布重新设计 Transformers 文档,以解决内容割裂、难导航、过时的问题。新版文档将面向构建 AI 产品的开发者,采用代码优先、解决方案导向的写法,并用更灵活的结构取代此前对 Diátaxis 框架的僵化套用,让内容自然生长、彼此整合而非层层叠加。
Artificial Analysis 发布文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face 发布由 Cubzh 和 Gigax 打造的 3D 演示 NPC-Playground,用户可在浏览器中与 LLM 驱动的 NPC 互动,并用几行 Lua 脚本教它们新技能。
Hugging Face 将辅助生成(Assisted Generation)适配并优化到 Intel Gaudi,现已集成进 Optimum Habana,可加速文本生成。该方法基于 Speculative Sampling,用草稿模型生成 K 个 token 再由目标模型评估,大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face 本周检测到 Spaces 平台遭未授权访问,涉及 Spaces secrets,怀疑部分密钥可能被未经授权读取,已撤销相关 HF token 并邮件通知受影响用户。
推荐理由:官方披露 Spaces 密钥遭未授权访问及处置措施,可了解平台安全策略的调整方向。
Mistral AI 发布首款代码模型 Codestral,这是一个 22B 开放权重生成式模型,支持 80 多种编程语言,上下文窗口为 32k。模型采用新的 Mistral AI Non-Production License,可在 Hugging Face 下载用于研究和测试,商用需联系获取许可。
推荐理由:Mistral 首款代码模型给出 22B 开放权重、32k 上下文和免费 API 端点,可据此判断其与既有代码模型的差异。
Hugging Face 发布 TGI Benchmarking 工具,可在 Hugging Face Space 中部署 TGI 并测量吞吐量与延迟,帮助用户按需调优 LLM 部署。
Hugging Face 发布博客,介绍如何用 Python 库 Sentence Transformers 微调嵌入向量模型,以提升其在检索增强生成、语义搜索、语义文本相似度等任务上的表现,也可用于从零训练新模型。
TII 发布第二代 Falcon 模型 Falcon 2,首发 11B 参数的基础语言模型和 11B 视觉语言模型(VLM),后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器,可对图像内容进行文本问答。
推荐理由:原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比,可据此判断小尺寸开源模型的能力位置。
Hugging Face 将 AWS Inferentia2 部署能力扩展至 Hub 上超 10 万个公开模型,新增 albert、bert、roberta、vit 等 14 种模型架构和 text-classification、text-generation 等 6 类任务,可通过 Amazon SageMaker 部署。
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作,将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection,支持从 Azure AI Studio 一键部署。
Hugging Face 宣布 AMD Instinct MI300 GPU 已在 Hugging Face 平台实现一等公民级集成,transformers 与 text-generation-inference 无需改代码即可在 MI300 上运行。
Hugging Face Spaces 上线 Dev Mode,支持一键从 VS Code 或 SSH 直连 Space 编辑代码,无需再用 git 推送本地改动。该功能目前处于 beta 阶段,仅面向 PRO 订阅用户开放,可在 Space 设置中启用。编辑后直接在 Space 内点击 Refresh 即可测试,满意后再 commit 和 merge 保存改动。
Hugging Face 与 Dell 联合推出 Dell Enterprise Hub,可在 Dell 平台上本地训练和部署开源模型,将原本数周的工程工作缩短至几分钟。
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,通过降低 KV 缓存精度减少长上下文生成的内存占用,int4 精度下质量接近 fp16。
Hugging Face 发布 Open Arabic LLM Leaderboard(OALL),用于评估和对比阿拉伯语大语言模型性能,服务全球超 3.8 亿阿拉伯语使用者。
Google 发布视觉语言模型家族 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像与文本并输出文本。
推荐理由:梳理了 PaliGemma 的三种权重类型、分辨率与精度选择,并给出 transformers 推理与微调的可复用代码。
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface,这是一个由双方共同维护的 Python 包,可通过 pip install langchain-huggingface 安装。
Hugging Face 发布 Transformers Agents 2.0,在原有智能体类型之外新增两类可基于历史观察迭代的智能体,并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体,排名第 4,成为开源类别领先者。
推荐理由:官方给出新智能体框架的模块划分与 GAIA 榜单成绩,可据此判断开源智能体方案的可用边界。
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub,用户可在 AWS Marketplace 完成订阅并关联 Hugging Face 组织账户。