Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,图像保真度接近基础模型。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重,读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,图像保真度接近基础模型。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重,读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由:原文给出混合位宽调色板量化的完整方法与脚本,读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。
推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。
Meta 发布开源大语言模型系列 Llama 2,包含 7B、13B、70B 的预训练与微调版本,采用宽松社区许可并允许商用。相比 Llama 1,预训练 token 增加 40%,上下文长度扩展到 4k tokens,70B 模型使用 grouped-query attention。
推荐理由:Meta 发布可商用的 Llama 2 系列,Hugging Face 同步给出推理、部署与微调入口,便于判断开源模型的可落地程度。
Hugging Face 博客介绍如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash,模型完全在浏览器本地运行,每秒可做 60 次以上预测。
推荐理由:完整复现了从微调 MobileViT 到用 Transformers.js 在浏览器实时推理的流程,可迁移到其他端侧 ML 项目。
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字:榜单封装的是 EleutherAI LM Evaluation Harness,而论文用的是 UC Berkeley 的原始实现,两者在提示词、答案比较方式上不同。
推荐理由:同一 MMLU 数据集在三种实现下分数与排名差异明显,读者可据此理解评测数字为何不可直接横向比较。
阿布扎比技术创新研究院(TII)以 Apache 2.0 许可发布 Falcon 系列语言模型,包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。
推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解当时开源模型的能力位置。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4-bit 精度加载和运行模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 把 4-bit 量化与 QLoRA 接入 transformers,读者可据此判断消费级显卡微调大模型的门槛变化。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做外部安全审计,未发现可导致任意代码执行的关键安全漏洞,并修复了规范格式不精确和允许 polyglot 文件的校验缺失问题。
推荐理由:外部安全审计确认 safetensors 无任意代码执行漏洞,并给出其成为默认保存格式的推进节奏。
Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库,该架构结合 RNN 与 Transformer 的优势,由 Bo Peng 主导、Stability AI 捐赠训练 GPU。
推荐理由:RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合,并已接入 transformers 库,读者可据此判断长上下文场景的选型空间。
Hugging Face 团队介绍如何将 16B 参数的 StarCoder 微调为对话式编码助手 StarChat,使用 OpenAssistant 约 2.1 万条英文对话数据,并采用 ChatML 格式标记对话角色。
推荐理由:原文完整给出用对话数据微调 StarCoder 的流程与代码,读者可据此复现一个开源编码助手。
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,StarCoder 是在 StarCoderBase 上用 35B Python token 微调而来。
推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的能力位置。
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程,涵盖监督微调、奖励模型和 PPO 强化学习三个阶段,全部代码集成在 TRL 库中。
推荐理由:Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码,读者可据此复现并迁移到自己的任务。
Hugging Face 发布教程,介绍用 diffusers 训练 ControlNet 的三个步骤:规划条件、构建数据集、训练模型,并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由:Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程,含显存优化参数。
Hugging Face 正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调更易上手。文章以 gpt-neox-20b 为例,通过 8-bit 加载、低秩适配器和 disable_adapters 复用同一模型,在 24GB NVIDIA 4090 上完成微调,完整训练则在单张 A100 上运行。作者指出该方案的主要代价是训练速度约慢一倍,后续将探索多 GPU 扩展与提速。
推荐理由:trl 与 peft 集成后,读者可了解在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体步骤与内存取舍。
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 模型,这是 ALIGN 模型首次免费开源公开。
推荐理由:Kakao Brain 首次公开 ALIGN 模型并附带训练数据,读者可据此了解可复现的视觉语言建模路径。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 运行社区贡献的文生图模型,官方称文生图生成速度最高可达此前的两倍。
推荐理由:官方给出 1.1 版在多种 Mac 上的生成耗时对比,可据此判断 Core ML 与 ANE 加速的实际收益。
Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Hugging Face Transformers,本指南演示如何用它完成图像描述、带提示的图像描述、视觉问答和对话式提示。
推荐理由:文章给出 BLIP-2 在 Transformers 中的完整调用示例,读者可据此复现图像描述与视觉问答流程。
Hugging Face 发布 PEFT 库,提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法,并与 Transformers 和 Accelerate 集成。
推荐理由:官方介绍 PEFT 库支持的微调方法与显存占用,读者可据此判断消费级硬件微调大模型的可行路径。