训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Hugging Face 发布 Synthetic Data Generator，一个无代码应用，用户用自然语言描述需求即可借助 LLM 生成自定义数据集。工具目前支持文本分类和聊天数据集，分别约每分钟生成 50 和 20 个样本，底层由 distilabel 和免费的 Hugging Face text-generation API 驱动。
推荐理由：原文给出从提示词到数据集再到模型的完整无代码流程，读者可据此判断合成数据工具的实际可用边界。
Cohere For AI 发布 Aya Expanse 系列多语言模型，包含 8B 和 32B 两个参数版本，均以开放权重形式发布。在成对比较中，Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B；Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由：Cohere For AI 公开了 Aya Expanse 的完整后训练流程，读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。
OpenAI 宣布开发者现在可以用图像和文本对 GPT-4o 进行微调，以提升视觉能力。
推荐理由：OpenAI 在微调 API 中加入图像输入，开发者可据此判断视觉微调是否适用于自己的场景。
Hugging Face 发布 FineVideo，一个包含 43k 条视频、3.4k 小时的开源视频数据集，标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由：原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程，可迁移到自建视频数据集。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，模型以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由：TII 发布首个纯 Mamba 架构 7B 模型，给出与同规模 Transformer 的基准对比和长序列显存实测。
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入并整合 XetHub 技术到 Hub。XetHub 此前开发了让 Git 扩展到 TB 级仓库的技术，HF 计划借此替换现有 Git LFS 存储后端，实现分块存储与去重，例如 10GB Parquet 文件新增一行只需重传少量分块。
推荐理由：Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端，读者可了解大文件版本管理将如何变化。
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，支持最长 128k tokens 上下文窗口，预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源，可替换现有 Mistral 7B 系统。
推荐理由：Mistral 与 NVIDIA 联合发布的 12B 模型，给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据，便于判断其替换 Mistral 7B 的可行性。
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了三个尺寸小模型的训练数据配比与评测对比，可据此判断端侧小模型的取舍。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先用数十万条 CoT 数据训练，再用约 6 万条工具集成推理数据训练，推理时采用 SC-TIR 解码，生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由：获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节，可迁移到其他推理任务。
Google 发布开源大模型 Gemma 2，提供 9B 和 27B 两个规模，各有预训练基础版和指令微调版，上下文长度 8K tokens，沿用可商用、可微调、可再分发的宽松许可。
推荐理由：梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动，并给出与 Llama 3、Qwen 1.5 的基准对比。
OpenAI 使用新的稀疏自编码器扩展技术，从 GPT-4 的计算中自动识别出 1600 万个模式。
推荐理由：OpenAI 用可扩展的稀疏自编码器从 GPT-4 计算中自动识别出 1600 万个模式，读者可了解可解释性研究的新方法。
Mistral AI 在 la Plateforme 上线模型定制功能，提供三个入口：开源微调代码库 mistral-finetune、平台上的 serverless 微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此判断自建与托管两条路径的成本差异。
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于复现 Phi-1.5 的预训练数据。
推荐理由：Hugging Face 公开了复现 Phi-1.5 合成预训练数据的完整流程与代码，读者可据此了解大规模合成数据的提示词设计与工程细节。
Hugging Face 博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，使 70 亿参数模型（如 Llama 架构）能在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例，读者可据此在消费级硬件上复现训练流程。
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2，包含 3B、7B、15B 三个尺寸，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练，并同步开放模型、数据集及训练代码。
推荐理由：BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码，读者可据此判断开源代码模型的能力边界与数据规模。
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 transformers、PEFT、TRL 完全兼容，可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 集成的实测加速与显存数据，读者可据此判断微调成本能降到什么程度。
Hugging Face 发布《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，系统讲解 MoE 的构成、训练与推理权衡。
推荐理由：系统梳理 MoE 的构成、训练与推理权衡，并给出并行与部署的实践取舍，适合理解稀疏模型工程细节。
Hugging Face 博客发布对 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences 的复现工作，在情感和描述性任务上匹配了原代码库的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。