跳到正文

教程实践

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

最新精选

第 41–60 条 · 共 94 条
4月25日周五
1月31日周五
1月27日周一
  1. Hugging Face Blog62

    Diffusers 团队盘点开源视频生成模型现状与优化方案

    Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。

    推荐理由:梳理开源视频生成模型现状与 Diffusers 的显存优化组合,可据此估算本地部署成本。

1月15日周三
12月24日周二
9月18日周三
  1. Hugging Face Blog60

    如何把 LLM 微调到 1.58bit:BitNet 极端量化实践

    Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,无需从零预训练。他们用 BitNet 架构微调 Llama3 8B,其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调,模型以 HF1BitLLM 组织发布,在 MMLU 上超过 Llama 1 7B。

    推荐理由:原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录,可迁移到其他模型的低比特微调。

7月22日周一
7月11日周四
  1. Hugging Face Blog60

    NuminaMath 如何赢得首届 AIMO 进步奖

    Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。

    推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。

4月11日周四
  1. Hugging Face Blog62

    视觉语言模型解析:架构、选型与 TRL 微调实践

    Hugging Face 发布视觉语言模型入门文章,介绍其图像编码器、嵌入投影层与文本解码器的典型结构,并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码,并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持,附基于 llava-instruct 数据集的微调示例。

    推荐理由:系统梳理视觉语言模型的架构、选型与微调流程,并给出可直接运行的 transformers 与 TRL 代码示例。

3月22日周五
  1. Hugging Face Blog62

    Hugging Face 详解嵌入二值与标量量化:检索更快更省

    Hugging Face 博客介绍嵌入量化方法,将 float32 嵌入转为二值或 int8,分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中,二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘,而常规 float32 检索需要 200GB 内存和 200GB 磁盘。

    推荐理由:Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测,可据此评估检索成本与性能的取舍。

3月20日周三
  1. Hugging Face Blog62

    GaLore:在消费级硬件上训练大模型

    Hugging Face 博客介绍 GaLore 优化器,可将优化器状态内存占用降低超过 82.5%,使 70 亿参数模型(如 Llama 架构)能在 NVIDIA RTX 4090 等消费级 GPU 上训练。

    推荐理由:原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例,读者可据此在消费级硬件上复现训练流程。

2月16日周五
2月1日周四
  1. Hugging Face Blog62

    Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方

    Hugging Face 发布了一套用开源模型实现 Constitutional AI(CAI)的端到端配方,并开源了 llm-swarm 工具,用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。

    推荐理由:Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方,含数据集、模型与 Slurm 集群推理工具,可迁移到自定义对齐流程。

1月24日周三
1月14日周日
1月2日周二
  1. Hugging Face Blog62

    Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本

    Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。

    推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区最佳实践,并给出可直接运行的 diffusers 训练脚本与参数配置。

12月20日周三
12月11日周一
12月5日周二
  1. Hugging Face Blog62

    Hugging Face 如何让 LoRA 推理提速 300%:告别冷启动

    Hugging Face 在 Inference API 中实现 LoRA 动态加载,让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器,把冷启动时间从 25 秒降到 3 秒,用户请求响应时间从 35 秒降到 13 秒。

    推荐理由:Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据,读者可据此判断多 LoRA 共享部署的可行性与代价。

10月27日周五
  1. Hugging Face Blog62

    Personal Copilot:用 Hugging Face 代码微调自己的编程助手

    Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码,微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder(15.5B),训练 12.5 小时、成本约 13.75 美元,而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。

    推荐理由:完整给出从数据采集到 QLoRA 与全量微调的成本对比,以及本地部署路径,可迁移到自有代码库。