开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval，读者可据此判断自生成数据能否替代 GPT-4 蒸馏。
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，上下文长度 8K tokens，并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式，读者可据此了解新模型规格与上手路径。
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 Mixture-of-Experts 架构，141B 参数中仅 39B 激活，以 Apache 2.0 许可开放。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现，可据此判断其成本效率定位。
Hugging Face 发布多模态模型 Idefics2，参数量 8B，采用 Apache 2.0 开源许可，可接收任意文本与图像序列并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，读者可据此判断社区多模态微调的门槛变化。
Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影层与文本解码器的典型结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码，并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持，附基于 llava-instruct 数据集的微调示例。
推荐理由：系统梳理视觉语言模型的架构、选型与微调流程，并给出可直接运行的 transformers 与 TRL 代码示例。
Google 发布代码专用开源模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint，额外用 5000 亿 token 的英文、数学和代码数据训练。
推荐理由：Google 与 Hugging Face 联合发布代码专用 Gemma 系列，给出三种规格与基准对比，便于判断开源代码模型的选型。
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中，二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘，而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由：Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测，可据此评估检索成本与性能的取舍。
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于复现 Phi-1.5 的预训练数据。
推荐理由：Hugging Face 公开了复现 Phi-1.5 合成预训练数据的完整流程与代码，读者可据此了解大规模合成数据的提示词设计与工程细节。
Hugging Face 博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，使 70 亿参数模型（如 Llama 架构）能在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例，读者可据此在消费级硬件上复现训练流程。
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2，包含 3B、7B、15B 三个尺寸，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练，并同步开放模型、数据集及训练代码。
推荐理由：BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码，读者可据此判断开源代码模型的能力边界与数据规模。
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能与 Mistral 7B 相当。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
SegMind 发布 SegMoE 框架，可从零创建混合专家（MoE）扩散模型，并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型（Apache 2.0 许可）以及配套 GitHub 仓库，用户通过 config.yaml 即可组合任意数量的模型，几分钟内完成构建。
推荐理由：原文给出从零构建扩散模型 MoE 的完整流程与显存代价，读者可据此判断本地部署门槛。
Hugging Face 发布了一套用开源模型实现 Constitutional AI（CAI）的端到端配方，并开源了 llm-swarm 工具，用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face 在 LangChain 中集成 ChatHuggingFace，让开源模型可直接构建 ReAct 智能体，并发布智能体库 smolagents。
推荐理由：给出 ReAct 智能体的完整实现路径与开源模型对比数据，可据此判断哪些模型适合驱动智能体工作流。
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 transformers、PEFT、TRL 完全兼容，可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 集成的实测加速与显存数据，读者可据此判断微调成本能降到什么程度。
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本，把 Pivotal Tuning 与 Prodigy 优化器结合，并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由：汇总 SDXL Dreambooth LoRA 微调的社区最佳实践，并给出可直接运行的 diffusers 训练脚本与参数配置。
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家（SMoE）模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：Mistral 放出 Apache 2.0 的稀疏 MoE 权重，并给出与 Llama 2 70B、GPT3.5 的对比，便于判断开源模型的成本性能取舍。
Hugging Face 发布《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，系统讲解 MoE 的构成、训练与推理权衡。
推荐理由：系统梳理 MoE 的构成、训练与推理权衡，并给出并行与部署的实践取舍，适合理解稀疏模型工程细节。
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在生态内的完整接入路径，读者可据此判断 MoE 模型的部署与微调成本。