最新精选
第 221–240 条 · 共 303 条- Hugging Face Blog精选AI 评分6262
Hugging Face 发布了一套用开源模型实现 Constitutional AI(CAI)的端到端配方,并开源了 llm-swarm 工具,用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由:Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方,含数据集、模型与 Slurm 集群推理工具,可迁移到自定义对齐流程。
- Hugging Face Blog精选AI 评分6262
Hugging Face 在 LangChain 中集成 ChatHuggingFace,让开源模型可直接构建 ReAct 智能体,并发布智能体库 smolagents。
推荐理由:给出 ReAct 智能体的完整实现路径与开源模型对比数据,可据此判断哪些模型适合驱动智能体工作流。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布教程,介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤,适合想低成本分享工作流的读者。
- Hugging Face Blog精选AI 评分7272
Hugging Face 博客介绍社区开发的轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%,且相对标准 QLoRA 精度损失为 0%。
推荐理由:原文给出 Unsloth 与 TRL 集成的实测加速与显存数据,读者可据此判断微调成本能降到什么程度。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区最佳实践,并给出可直接运行的 diffusers 训练脚本与参数配置。
- Hugging Face Blog精选AI 评分6262
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍,同时数学上保证输出与单独使用主模型完全一致。
推荐理由:给出 Whisper 投机解码的完整实现与基准数据,读者可据此在现有管线中获得约 2 倍加速且输出不变。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布《Mixture of Experts Explained》,以 Mixtral 8x7B 发布为背景,系统讲解 MoE 的构成、训练与推理权衡。
推荐理由:系统梳理 MoE 的构成、训练与推理权衡,并给出并行与部署的实践取舍,适合理解稀疏模型工程细节。
- Hugging Face Blog精选AI 评分8282
Mistral 发布 Mixtral 8x7B,采用 Mixture of Experts 架构,在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5,以 Apache 2.0 许可开放。
推荐理由:Hugging Face 官方给出 Mixtral 在生态内的完整接入路径,读者可据此判断 MoE 模型的部署与微调成本。
- Hugging Face Blog精选AI 评分6262
Hugging Face 在 Inference API 中实现 LoRA 动态加载,让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器,把冷启动时间从 25 秒降到 3 秒,用户请求响应时间从 35 秒降到 13 秒。
推荐理由:Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据,读者可据此判断多 LoRA 共享部署的可行性与代价。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布 Optimum-NVIDIA 推理库,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒,首 token 延迟最高降低 3.3 倍。
推荐理由:原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据,读者可据此判断现有 LLaMA 推理流程的改造成本。
- Hugging Face Blog精选AI 评分8080
Hugging Face 发布 Latent Consistency LoRA(LCM LoRA),通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步完成出图。
推荐理由:LCM LoRA 把 SDXL 推理从 25 步压到 4 步,并给出各硬件实测速度,可据此判断生成工作流的改动空间。
- Hugging Face Blog精选AI 评分6262
Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码,微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder(15.5B),训练 12.5 小时、成本约 13.75 美元,而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。
推荐理由:完整给出从数据采集到 QLoRA 与全量微调的成本对比,以及本地部署路径,可迁移到自有代码库。
- Hugging Face Blog精选AI 评分6262
Hugging Face 在 A100(40GB)上测试了 SDXL 的多种推理优化,未优化管线需 28GB 显存、72.2 秒,改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由:原文给出 SDXL 在 A100 上的逐项优化实测数据,读者可据此按显存与延迟取舍推理配置。
- Hugging Face Blog精选AI 评分6262
Hugging Face 博客发布对 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences 的复现工作,在情感和描述性任务上匹配了原代码库的学习曲线,并整理出一份实现细节清单。
推荐理由:作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节,其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布 @gradio/lite,一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库,无需服务器端基础设施。
推荐理由:官方博客给出 Gradio-Lite 的完整用法与限制,读者可据此判断无服务器部署 Gradio 应用的可行边界。
- Hugging Face Blog精选AI 评分6262
Hugging Face 的 tokenizers 新增 chat_template 属性,用 Jinja 模板保存模型训练时使用的对话格式,把消息列表转换成正确格式的字符串。
推荐理由:Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的 Jinja 模板,读者可据此理解格式错配为何会静默拖垮模型表现。
- Hugging Face Blog精选AI 评分6060
Hugging Face 发布面向非工程师的教程,用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码,把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由:Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程,可迁移到其他开源模型。
Mistral AI 发布 7.3B 参数的 Mistral 7B,采用 Apache 2.0 许可,可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码能力接近 CodeLlama 7B。
推荐理由:官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可,读者可据此判断小参数模型的性价比与部署方式。
- Hugging Face Blog精选AI 评分6262
Hugging Face 博客发布 3D Gaussian Splatting 入门解读,介绍这一来自论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的栅格化技术如何从少量图像实时渲染逼真场景。
推荐理由:文章拆解了 3D Gaussian Splatting 的完整流程与显存、磁盘等实际限制,便于判断它离生产渲染管线还有多远。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布 Würstchen 扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由:原文给出 42x 空间压缩与训练算力对比,读者可据此判断文生图模型的成本与显存门槛变化。