Tiny Agents:用 50 行代码实现 MCP 驱动的智能体
Hugging Face 发布 Tiny Agents 教程,用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端与智能体,核心逻辑是工具调用加一个 while 循环。
推荐理由:作者以 Hugging Face 官方 SDK 为例,展示 MCP 客户端加一个 while 循环即可构成智能体,可迁移到自己的工具链。
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
Hugging Face 发布 Tiny Agents 教程,用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端与智能体,核心逻辑是工具调用加一个 while 循环。
推荐理由:作者以 Hugging Face 官方 SDK 为例,展示 MCP 客户端加一个 while 循环即可构成智能体,可迁移到自己的工具链。
作者用 GRPO 和 Countdown Game 训练 Qwen2.5-3B-Instruct,在 4x H100 上复现 DeepSeek R1 的 aha moment,450 步后解题成功率约 50%。
推荐理由:完整复现流程与训练观察,读者可据此理解 GRPO 如何让模型自发形成推理格式。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。
Hugging Face 发布方法,用 Sentence Transformers 训练静态嵌入模型,在 CPU 上比主流嵌入模型快 100 到 400 倍,同时保留大部分质量。
推荐理由:原文公开了静态嵌入模型的完整训练配方与两个已发布模型,读者可据此在 CPU 上复现高效嵌入方案。
Hugging Face 发布教程,介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由:文章用 PyTorch 内存快照拆解训练各阶段显存占用,并给出可复用的显存估算公式。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,无需从零预训练。他们用 BitNet 架构微调 Llama3 8B,其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调,模型以 HF1BitLLM 组织发布,在 MMLU 上超过 Llama 1 7B。
推荐理由:原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录,可迁移到其他模型的低比特微调。
Hugging Face 发布教程,介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B,并用不到 4GB 内存完成推理。
推荐理由:Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤,可据此复现端侧部署流程。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。
Hugging Face 发布视觉语言模型入门文章,介绍其图像编码器、嵌入投影层与文本解码器的典型结构,并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码,并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持,附基于 llava-instruct 数据集的微调示例。
推荐理由:系统梳理视觉语言模型的架构、选型与微调流程,并给出可直接运行的 transformers 与 TRL 代码示例。
Hugging Face 博客介绍嵌入量化方法,将 float32 嵌入转为二值或 int8,分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中,二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘,而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由:Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测,可据此评估检索成本与性能的取舍。
Hugging Face 博客介绍 GaLore 优化器,可将优化器状态内存占用降低超过 82.5%,使 70 亿参数模型(如 Llama 架构)能在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由:原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例,读者可据此在消费级硬件上复现训练流程。
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程,并以金融新闻投资者情绪识别为案例。
推荐理由:用开源 LLM 生成合成数据再蒸馏小模型的完整流程,附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face 发布了一套用开源模型实现 Constitutional AI(CAI)的端到端配方,并开源了 llm-swarm 工具,用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由:Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方,含数据集、模型与 Slurm 集群推理工具,可迁移到自定义对齐流程。
Hugging Face 在 LangChain 中集成 ChatHuggingFace,让开源模型可直接构建 ReAct 智能体,并发布智能体库 smolagents。
推荐理由:给出 ReAct 智能体的完整实现路径与开源模型对比数据,可据此判断哪些模型适合驱动智能体工作流。
Hugging Face 发布教程,介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤,适合想低成本分享工作流的读者。
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区最佳实践,并给出可直接运行的 diffusers 训练脚本与参数配置。
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍,同时数学上保证输出与单独使用主模型完全一致。
推荐理由:给出 Whisper 投机解码的完整实现与基准数据,读者可据此在现有管线中获得约 2 倍加速且输出不变。
Hugging Face 发布《Mixture of Experts Explained》,以 Mixtral 8x7B 发布为背景,系统讲解 MoE 的构成、训练与推理权衡。
推荐理由:系统梳理 MoE 的构成、训练与推理权衡,并给出并行与部署的实践取舍,适合理解稀疏模型工程细节。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器,把冷启动时间从 25 秒降到 3 秒,用户请求响应时间从 35 秒降到 13 秒。
推荐理由:Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据,读者可据此判断多 LoRA 共享部署的可行性与代价。
Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码,微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder(15.5B),训练 12.5 小时、成本约 13.75 美元,而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。
推荐理由:完整给出从数据采集到 QLoRA 与全量微调的成本对比,以及本地部署路径,可迁移到自有代码库。