TII 发布 Falcon Mamba:首个强性能无注意力 7B 模型
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。
推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。
推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用,无需或只需极少模型专属改动。
推荐理由:Hugging Face 把工具调用统一进 chat template,读者可据此判断跨模型复用同一套代码的可行边界。
Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入并整合 XetHub 技术到 Hub。XetHub 此前开发了让 Git 扩展到 TB 级仓库的技术,HF 计划借此替换现有 Git LFS 存储后端,实现分块存储与去重,例如 10GB Parquet 文件新增一行只需重传少量分块。
推荐理由:Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端,读者可了解大文件版本管理将如何变化。
Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。
Meta 发布 Llama 3.1 系列,含 8B、70B、405B 三个尺寸的 base 与 instruct 版本,共 6 个开放权重模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:Hugging Face 官方给出 Llama 3.1 三个尺寸的显存、微调与量化配置,可据此估算部署成本。
Hugging Face 发布教程,介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B,并用不到 4GB 内存完成推理。
推荐理由:Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤,可据此复现端侧部署流程。
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,支持最长 128k tokens 上下文窗口,预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源,可替换现有 Mistral 7B 系统。
推荐理由:Mistral 与 NVIDIA 联合发布的 12B 模型,给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据,便于判断其替换 Mistral 7B 的可行性。
Hugging Face 为 TGI 推出 Multi-LoRA 服务,只需部署一次基础模型,即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器,官方称可服务 30 个模型。
推荐理由:原文给出 TGI Multi-LoRA 的部署方式与成本对比,读者可据此判断多微调模型能否合并到一次部署。
Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后在新架构上的又一步探索,可免费使用、修改和分发。该模型采用 Mamba 架构,具备线性时间推理和理论上可建模无限长序列的能力,在 256k tokens 的上下文检索能力上做了测试,Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。
推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试和多种部署路径,可据此判断非 Transformer 架构在代码场景的可用性。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了三个尺寸小模型的训练数据配比与评测对比,可据此判断端侧小模型的取舍。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。
Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%,排名第一,比第二名高 4 个百分点;测试集得分 33.3%,排名第二,并在 Level 3 难题上取得最佳平均分。
推荐理由:Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节,包括工具设计、安全解释器与规划策略,可迁移到自建智能体系统。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个规模,各有预训练基础版和指令微调版,上下文长度 8K tokens,沿用可商用、可微调、可再分发的宽松许可。
推荐理由:梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动,并给出与 Llama 3、Qwen 1.5 的基准对比。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布,可通过 Diffusers 调用。
推荐理由:原文给出 SD3 Medium 的架构变化、Diffusers 集成与显存优化实测数据,读者可据此判断本地部署门槛。
Mistral AI 在 la Plateforme 上线模型定制功能,提供三个入口:开源微调代码库 mistral-finetune、平台上的 serverless 微调服务,以及面向特定客户的定制训练服务。
推荐理由:Mistral 同时给出开源微调代码库与托管微调服务,读者可据此判断自建与托管两条路径的成本差异。
Mistral AI 发布首款代码模型 Codestral,这是一个 22B 开放权重生成式模型,支持 80 多种编程语言,上下文窗口为 32k。模型采用新的 Mistral AI Non-Production License,可在 Hugging Face 下载用于研究和测试,商用需联系获取许可。
推荐理由:Mistral 首款代码模型给出 22B 开放权重、32k 上下文和免费 API 端点,可据此判断其与既有代码模型的差异。
Mistral AI 发布 Mistral AI 非生产许可证(MNPL),允许开发者将技术用于非商业用途并支持研究工作,要求基于其成果开展商业业务的一方以公平可持续的方式合作。同日发布的 Codestral 采用该许可证。Mistral 表示仍会继续以 Apache 2.0 发布模型和代码,并逐步整合 Apache 2.0 与 MNPL 两条产品线。
推荐理由:Mistral 推出非生产许可证,读者可据此理解开源模型厂商在开放与商业化之间的授权取舍。
TII 发布第二代 Falcon 模型 Falcon 2,首发 11B 参数的基础语言模型和 11B 视觉语言模型(VLM),后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器,可对图像内容进行文本问答。
推荐理由:原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比,可据此判断小尺寸开源模型的能力位置。
Google 发布视觉语言模型家族 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像与文本并输出文本。
推荐理由:梳理了 PaliGemma 的三种权重类型、分辨率与精度选择,并给出 transformers 推理与微调的可复用代码。
Hugging Face 发布 Transformers Agents 2.0,在原有智能体类型之外新增两类可基于历史观察迭代的智能体,并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体,排名第 4,成为开源类别领先者。
推荐理由:官方给出新智能体框架的模块划分与 GAIA 榜单成绩,可据此判断开源智能体方案的可用边界。