用 Python 实现 MCP 服务器:基于 Gradio 与 IDM-VTON 的 AI 购物助手
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,将函数自动转换为 LLM 可调用的 MCP 工具。该助手结合 IDM-VTON 扩散模型实现虚拟试穿,并通过 VS Code AI Chat 接入 vton 与 playwright 两个 MCP 服务器,让 LLM 能浏览线上服装店并生成试穿效果图。
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,将函数自动转换为 LLM 可调用的 MCP 工具。该助手结合 IDM-VTON 扩散模型实现虚拟试穿,并通过 VS Code AI Chat 接入 vton 与 playwright 两个 MCP 服务器,让 LLM 能浏览线上服装店并生成试穿效果图。
Intercom 分享了构建可扩展 AI 平台的三条经验,涵盖评估体系与架构设计,目标是引领客户支持的未来。
Hugging Face 在 PyArrow 和 Pandas 中上线 Parquet 内容定义分块(CDC)功能,配合 Xet 存储层实现 Parquet 文件去重,仅上传或下载发生变化的 chunk,从而降低数据传输与存储成本。
Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度,在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速,并借助 hotswap 避免重新编译。
推荐理由:原文给出 Flux LoRA 推理的完整优化配方与实测数据,读者可据此在 H100 或消费级 GPU 上复现加速。
Hugging Face 发布博客详解异步机器人推理,通过将动作预测与执行解耦,让机器人在等待新动作块计算时持续执行当前动作,实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face 发布官方 MCP Server(hf.co/mcp),通过一个 URL 让 AI 助手访问 Hub 及数千个 Spaces 应用,并支持用户自定义工具。
Hugging Face 与 AMD 合作,为 AMD MI300X 编写自定义内核,在 8 卡 MI300X 节点上用 VLLM 服务 Llama 3.1 405B FP8 时取得显著加速。
Hugging Face 博客介绍如何通过 Gradio 的 MCP 支持,把 Hugging Face Spaces 上的数千个 AI 应用接入 LLM 作为工具使用。
推荐理由:以 Flux.1 Kontext 为例演示如何把 Hugging Face Spaces 上的 MCP 服务器接入 LLM,方法可直接复用。
Hugging Face 以 nanoVLM 项目为例,展示如何用五阶段构建高效多模态数据管道,解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被空 token 占用,随后通过约束填充、背包算法打包和 ConstantLengthDataset 逐步优化。
Hugging Face 基础设施团队公开了支撑其生产环境的三大关键告警机制,分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。其中 NAT 网关吞吐量告警采用静态阈值,用于捕捉流量异常并提示团队优化网络路径与成本。日志归档链路则依托 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Sentence Transformers 现已支持训练和微调稀疏嵌入模型,可产出如 sparse-encoder/example-inference-free-splade-distilbert-base-uncased-nq 这类低成本模型,尤其适合混合搜索或检索重排场景。
Hugging Face 发布教程,介绍如何用 QLoRA 配合 diffusers 在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以内。
推荐理由:给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存实测数据,方法可直接复用。
TNG 在 24 张 H100 上自托管多个大语言模型,每日消耗超 1 亿 token、生成超 1000 万 token,其分析指出 vLLM 默认 chunked-prefill 策略下长提示词的 prefill 会串行阻塞后续请求,导致首 token 延迟升高。
Hugging Face 发布 Kernel Hub,允许 Python 库和应用通过 kernels 库的 get_kernel 函数直接从 Hub 加载预编译的优化计算 kernel,无需本地编译。
NVIDIA 发布 Isaac GR00T N1.5,这是 Isaac GR00T N1 的首次重大更新,可通过后训练适配具体本体、任务和环境。博客给出完整教程,演示如何用单台 SO-101 机械臂的遥操作数据微调 GR00T N1.5,涵盖环境安装、数据集准备、微调、开环评估和真机部署五步。
推荐理由:原文给出用单臂遥操作数据微调 GR00T N1.5 的完整命令流程,可迁移到其他机器人本体。
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache,使自回归生成速度提升 38%。该实现覆盖 Attention 块、逐层缓存的语言模型以及区分 prefill 与 decode 阶段的生成循环,经验可推广到所有自回归语言模型推理。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,输入提示词几秒内即可生成 .wav 文件并直接导入 Ableton Live。该工具基于 PyTorch 和 TorchAudio,采用多线程优化,扩散采样步数降至 7 步,也支持 Metal 和 CUDA 设备。
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。
推荐理由:TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。
用户在使用 Qwen2.5-0.5B-Instruct 以 bf16 精度结合 DeepSpeed ZeRO3 测试 Liger GRPO loss 时,于 TRL 的 GRPO Trainer 中触发形状不匹配报错。
Hugging Face 发布 Python 版 Tiny Agents,将 huggingface_hub 客户端 SDK 扩展为 MCP Client,可从 MCP 服务器拉取工具并在推理时传给 LLM,核心智能体代码约 70 行。
推荐理由:Hugging Face 把 MCP 客户端并入 huggingface_hub,读者可据此用约 70 行代码搭出可复用工具调用的智能体。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示效果。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型(VLM)的轻量工具包,可在免费 Colab 上启动训练,灵感来自 nanoGPT。
推荐理由:Hugging Face 开源 nanoVLM,用纯 PyTorch 和可读代码把 VLM 训练流程拆解到可复现,适合想理解多模态对齐细节的读者。
Hugging Face 发文回顾过去一年视觉语言模型(VLM)的关键变化,涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Hugging Face 发文称 LeRobot 社区贡献数据集正快速增长,目标是打造机器人领域的“ImageNet”,将泛化视为数据问题而非单纯的模型能力问题。
Gradio 官方发布指南,介绍如何用几行 Python 把 Gradio 应用启动为 MCP Server,让 LLM 以工具形式调用其中的函数。只需在 launch() 中设置 mcp_server=True,函数 docstring 会自动生成工具描述与参数,MCP 端点位于 /gradio_api/mcp/sse,可配置到 Cursor、Cline 等 MCP 客户端。
推荐理由:Gradio 官方给出把任意 Python 函数变成 MCP 工具的最短路径,并列出资源、提示词与鉴权等新增能力。
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有 4 处关键变化:通过 enable_thinking 标志可开关推理,设为 false 时模板插入空对以跳过逐步思考,而 QwQ 强制每轮推理。
Intel 发布权重仅训练后量化方法 AutoRound,通过符号梯度下降联合优化权重取整与截断范围,支持 INT2-INT8 低比特量化,INT2 下相对精度最高达主流基线 2.1 倍。
Hugging Face 发布 Tiny Agents 教程,用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端与智能体,核心逻辑是工具调用加一个 while 循环。
推荐理由:作者以 Hugging Face 官方 SDK 为例,展示 MCP 客户端加一个 while 循环即可构成智能体,可迁移到自己的工具链。
TNG 基于 olmOCR-7B-0225-preview 微调出一款忠实 OCR 引擎,解决了原模型忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集,在 8xH100 节点上训练 2.5 个 epoch,使模型能完整提取发票等文档的页眉页脚内容并保留表格解析能力。该微调模型已在 Hugging Face 开源。
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型,支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。
Gradio 是面向机器学习模型的 UI 与 API 交互框架,所有 Gradio 应用同时是 API,官方提供 Python(gradio_client)和 JavaScript(@gradio/client)SDK 及 cURL 访问。
ChatGPT 的 canvas 可用于把产品需求文档(PRD)直接转成可运行的 HTML/React 原型。演示展示了从 PRD 到原型稿的完整流程。
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统,从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema,让评判 LLM 输出机器可读的分数,从而构建更可靠的自动化评估流程。
Gradio 月活开发者已超过 100 万,Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini 和 LLaMA-Factory 等热门开源项目均在使用。
Hugging Face 将已运营 3 年的 NLP Course 更名为 LLM Course,并新增微调 LLM、构建 DeepSeek R1 等推理模型的章节。
TNG Technology Consulting 分享了自托管 LLM 服务中的请求排队优化经验,指出单个"重度用户"大量请求会填满 vLLM 等推理引擎的 FIFO 队列,阻塞其他用户。其方案是在 LLM-Server 层为每个用户和模型维护独立队列,用轮询调度替代 FIFO,并通过抓取 vLLM 的 /metrics 指标动态控制后端队列长度以降低新用户延迟。
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical,以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新,并借助 Okta 集成实现细粒度 RBAC,同时用 CLI 替代本地 .env 文件。
Hugging Face 发布教程,介绍如何用 Sentence Transformers 库微调 reranker(Cross Encoder)模型,涵盖数据集、损失函数、训练参数、评估器与 Trainer 等组件。
Open R1 项目发布教程,介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B,并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face 发布教程,指导开发者用 React Native 构建本地运行 LLM 的移动应用,通过 llama.rn(llama.cpp 的绑定)加载 GGUF 模型,从 Hugging Face hub 下载后完全离线运行。