Meta 的 AI 动态：Llama 开源模型系列、超级智能实验室与元宇宙之外的 AI 豪赌。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
Hugging Face 在 Transformers 中推出统一的工具调用 API，同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用，无需或只需极少模型专属改动。
推荐理由：Hugging Face 把工具调用统一进 chat template，读者可据此判断跨模型复用同一套代码的可行边界。
Meta 发布 Llama 3.1 系列，含 8B、70B、405B 三个尺寸的 base 与 instruct 版本，共 6 个开放权重模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：Hugging Face 官方给出 Llama 3.1 三个尺寸的显存、微调与量化配置，可据此估算部署成本。
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，上下文长度 8K tokens，并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式，读者可据此了解新模型规格与上手路径。
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码，把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由：Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程，可迁移到其他开源模型。
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并给出在 2 节点 16 张 A100 80GB 上的完整配置。
推荐理由：原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法，可迁移到同类大模型训练。
Meta 发布 Code Llama，这是基于 Llama 2 训练、专注代码任务的开放模型家族，提供 7B、13B、34B 三种参数规模，并采用与 Llama 2 相同的宽松社区许可、可商用。
推荐理由：梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径，便于判断能否直接用于代码补全。
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 Llama v2 7B 上基于 stack-exchange 偏好数据微调的完整流程。
推荐理由：TRL 官方给出 DPO 在 Llama 2 上的完整训练流程与代码，读者可据此在自己的偏好数据上复现。
Meta 发布开源大语言模型系列 Llama 2，包含 7B、13B、70B 的预训练与微调版本，采用宽松社区许可并允许商用。相比 Llama 1，预训练 token 增加 40%，上下文长度扩展到 4k tokens，70B 模型使用 grouped-query attention。
推荐理由：Meta 发布可商用的 Llama 2 系列，Hugging Face 同步给出推理、部署与微调入口，便于判断开源模型的可落地程度。
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程，涵盖监督微调、奖励模型和 PPO 强化学习三个阶段，全部代码集成在 TRL 库中。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现并迁移到自己的任务。
Hugging Face 介绍 Accelerate 如何借助 PyTorch 的 meta device、自动 device map 和分片 checkpoint，在显存与内存不足的消费级硬件上加载并运行超大语言模型。
推荐理由：原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的完整流程，可迁移到本地部署实践。
Hugging Face 博客介绍如何利用 Wav2Vec2 的 CTC 结构，在 🤗 Transformers 中对任意长音频做语音识别。
推荐理由：原文给出带 stride 的分块推理方法，读者可据此在长音频和实时场景中复用 Wav2Vec2。