Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转换成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的 Jinja 模板，读者可据此理解格式错配为何会静默拖垮模型表现。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 101–120 条 · 共 126 条Hugging Face Blog精选AI 评分6262
Mistral AI精选AI 评分7878 Mistral AI 发布首个开源模型 Mistral 7B
Mistral AI 发布首个 7B 参数模型 Mistral 7B，采用 Apache 2.0 许可，称其在所有标准英文和代码基准上超过现有 13B 参数以内的开源模型。
推荐理由：Mistral AI 官方阐述开源模型路线，并给出首个 7B 模型在基准上超越更大开源模型的对比。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并给出在 2 节点 16 张 A100 80GB 上的完整配置。
推荐理由：原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法，可迁移到同类大模型训练。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face
TII 发布 Falcon 180B 并上线 Hugging Face Hub，提供 base 与 chat 两个版本。该模型有 1800 亿参数，在 3.5 万亿 token 的 RefinedWeb 数据上训练，使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由：原文给出 Falcon 180B 的参数量、训练数据与评测对比，读者可据此判断开源大模型的规模与商用限制。
OpenAI News精选AI 评分6262 OpenAI 开放 GPT-3.5 Turbo 微调
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调，以适配自身用例。该更新与 API 调整一同发布。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，是当时最直接的定制入口变化。
Hugging Face Blog精选AI 评分6666 用 DPO 微调 Llama 2：TRL 库训练教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 Llama v2 7B 上基于 stack-exchange 偏好数据微调的完整流程。
推荐理由：TRL 官方给出 DPO 在 Llama 2 上的完整训练流程与代码，读者可据此在自己的偏好数据上复现。
OpenAI News精选AI 评分6767 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确的推理（过程监督）而非仅奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解奖励每一步推理这一训练思路及其对齐收益。
Hugging Face Blog精选AI 评分7878 Hugging Face 用 bitsandbytes 与 QLoRA 让 transformers 支持 4-bit 量化
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载和运行模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由：Hugging Face 把 4-bit 量化与 QLoRA 接入 transformers，读者可据此判断消费级显卡微调大模型的门槛变化。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程，涵盖监督微调、奖励模型和 PPO 强化学习三个阶段，全部代码集成在 TRL 库中。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现并迁移到自己的任务。
Hugging Face Blog精选AI 评分6262 trl 与 peft 集成：在 24GB 消费级 GPU 上 RLHF 微调 20B LLM
Hugging Face 正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调更易上手。文章以 gpt-neox-20b 为例，通过 8-bit 加载、低秩适配器和 disable_adapters 复用同一模型，在 24GB NVIDIA 4090 上完成微调，完整训练则在单张 A100 上运行。作者指出该方案的主要代价是训练速度约慢一倍，后续将探索多 GPU 扩展与提速。
推荐理由：trl 与 peft 集成后，读者可了解在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体步骤与内存取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 PEFT 库，支持 LoRA 等参数高效微调方法
Hugging Face 发布 PEFT 库，提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法，并与 Transformers 和 Accelerate 集成。
推荐理由：官方介绍 PEFT 库支持的微调方法与显存占用，读者可据此判断消费级硬件微调大模型的可行路径。
Hugging Face Blog精选AI 评分6262 图解基于人类反馈的强化学习（RLHF）
Hugging Face 博客图解 RLHF 的完整流程，将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励，并用 KL 散度惩罚约束策略偏离初始模型，同时介绍了 TRL、TRLX、RL4LMs 等开源实现及 Anthropic 在 Hub 上发布的数据集。
推荐理由：文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并梳理了 TRL、TRLX、RL4LMs 等开源工具与主要论文，适合作为理解该流程的入门参考。
Hugging Face Blog精选AI 评分6262 Hugging Face 联合 Intel Labs 与 UKP Lab 发布 SetFit 少样本微调框架
Hugging Face 与 Intel Labs、UKP Lab 合作发布 SetFit，一个无需提示词的 Sentence Transformers 少样本微调框架。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可据此判断少样本分类的可用性与成本。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布全球最大开放多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，是首个完全透明训练的多语言 LLM。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点，读者可据此了解开放大模型在透明度上的具体做法。
OpenAI News精选AI 评分7070 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft
OpenAI 通过 Video PreTraining（VPT）在大量无标注的人类 Minecraft 游戏视频数据集上训练神经网络，仅使用少量承包商标注数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口，具有较强通用性，是迈向通用计算机使用智能体的一步。
推荐理由：OpenAI 用大量无标注人类游戏视频预训练网络，仅需少量标注数据即可学会制作钻石工具。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Hugging Face 团队提出 DeDLOC 协作式分布式训练方法，可自适应参与者的网络与硬件条件，并用 40 名志愿者在互联网上预训练出孟加拉语模型 sahajBERT。
推荐理由：Hugging Face 团队用 40 名志愿者在互联网上预训练出孟加拉语模型，给出了分布式协作训练在真实场景中的完整方法与评测结果。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性，研究显示其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI News精选AI 评分8080 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布论文《Language models are few-shot learners》，探讨语言模型的少样本学习能力。该页面正文抓取失败，仅标题可用。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来，在 ImageNet 分类上训练神经网络达到同等性能所需的算力每 16 个月减少一半。相比 2012 年，训练到 AlexNet 水平所需算力减少 44 倍，而同期摩尔定律只带来 11 倍的成本改善。OpenAI 认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对比理解 AI 效率来源。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个语言模型，并以世界语为例训练了 84M 参数（6 层、768 隐藏维度、12 注意力头）的 EsperBERTo。
推荐理由：以世界语为例完整演示从语料、分词器到预训练与下游微调的全流程，可迁移到其他低资源语言。