跳到正文

Hugging Face

Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。

最新精选

第 221–240 条 · 共 303 条
2月1日周四
  1. Hugging Face Blog62

    Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方

    Hugging Face 发布了一套用开源模型实现 Constitutional AI(CAI)的端到端配方,并开源了 llm-swarm 工具,用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。

    推荐理由:Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方,含数据集、模型与 Slurm 集群推理工具,可迁移到自定义对齐流程。

1月24日周三
1月14日周日
1月10日周三
  1. Hugging Face Blog72

    Unsloth 与 TRL 集成:LLM 微调提速 2 倍、显存降低 40%

    Hugging Face 博客介绍社区开发的轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%,且相对标准 QLoRA 精度损失为 0%。

    推荐理由:原文给出 Unsloth 与 TRL 集成的实测加速与显存数据,读者可据此判断微调成本能降到什么程度。

1月2日周二
  1. Hugging Face Blog62

    Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本

    Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。

    推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区最佳实践,并给出可直接运行的 diffusers 训练脚本与参数配置。

12月20日周三
12月11日周一
12月5日周二
  1. Hugging Face Blog62

    Hugging Face 如何让 LoRA 推理提速 300%:告别冷启动

    Hugging Face 在 Inference API 中实现 LoRA 动态加载,让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器,把冷启动时间从 25 秒降到 3 秒,用户请求响应时间从 35 秒降到 13 秒。

    推荐理由:Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据,读者可据此判断多 LoRA 共享部署的可行性与代价。

  2. Hugging Face Blog62

    Hugging Face 发布 Optimum-NVIDIA,一行代码加速 LLM 推理

    Hugging Face 发布 Optimum-NVIDIA 推理库,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒,首 token 延迟最高降低 3.3 倍。

    推荐理由:原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据,读者可据此判断现有 LLaMA 推理流程的改造成本。

11月9日周四
10月27日周五
  1. Hugging Face Blog62

    Personal Copilot:用 Hugging Face 代码微调自己的编程助手

    Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码,微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder(15.5B),训练 12.5 小时、成本约 13.75 美元,而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。

    推荐理由:完整给出从数据采集到 QLoRA 与全量微调的成本对比,以及本地部署路径,可迁移到自有代码库。

10月24日周二
  1. Hugging Face Blog62

    RLHF with PPO 的 N 个实现细节:复现 OpenAI 原始代码库

    Hugging Face 博客发布对 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences 的复现工作,在情感和描述性任务上匹配了原代码库的学习曲线,并整理出一份实现细节清单。

    推荐理由:作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节,其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。

10月19日周四
10月3日周二
9月28日周四
  1. Hugging Face Blog60

    非工程师指南:用 AutoTrain 和 ChatUI 训练 LLaMA 2 聊天机器人

    Hugging Face 发布面向非工程师的教程,用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码,把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。

    推荐理由:Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程,可迁移到其他开源模型。

9月27日周三
  1. Mistral AI80

    Mistral AI 发布 7.3B 参数开源模型 Mistral 7B

    Mistral AI 发布 7.3B 参数的 Mistral 7B,采用 Apache 2.0 许可,可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码能力接近 CodeLlama 7B。

    推荐理由:官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可,读者可据此判断小参数模型的性价比与部署方式。

9月18日周一
  1. Hugging Face Blog62

    3D Gaussian Splatting 入门:原理、训练流程与图形学前景

    Hugging Face 博客发布 3D Gaussian Splatting 入门解读,介绍这一来自论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的栅格化技术如何从少量图像实时渲染逼真场景。

    推荐理由:文章拆解了 3D Gaussian Splatting 的完整流程与显存、磁盘等实际限制,便于判断它离生产渲染管线还有多远。

9月13日周三