Meta 的 Muse Spark Open 上线 Amazon SageMaker JumpStart
Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上线,可在自己的 AWS 账户中部署到 SageMaker AI 端点。
推荐理由:Meta 的编码优化开源权重模型上线 SageMaker JumpStart,文中给出两种量化变体与对应实例的部署路径。
Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上线,可在自己的 AWS 账户中部署到 SageMaker AI 端点。
推荐理由:Meta 的编码优化开源权重模型上线 SageMaker JumpStart,文中给出两种量化变体与对应实例的部署路径。
Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可输入文本、图像、音频和视频并输出文本。
推荐理由:Meta 开源 816B 参数 MoE 多模态模型,给出部署、微调与量化运行的完整路径,便于评估自托管成本。
NVIDIA 在 OCP 全球峰会上宣布将 Vera Rubin 机架和计算托盘设计通过开放的 NVIDIA MGX 架构贡献给 OCP,为系统厂商提供下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 峰会上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可据此了解 AI 工厂基础设施的开放标准进展。
Meta 发布 Muse Glimmer,一个从 Muse 蒸馏到 30B 参数的多模态模型,采用 Apache 2.0 许可,面向本地智能体场景,如编码、文档分析和个人助理。
推荐理由:Meta 开源 30B 多模态模型并给出与 Gemma4、Qwen3.6 的基准对比,可据此判断本地智能体选型。
Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能水平。GPU 按日历小时计费,却只按计算小时产出,企业自购 GPU 后问题从"能否买到"变成"能否让它们保持忙碌"。文章以航空业停场飞机作类比,强调集群即使满载也可能浪费大部分潜力,因为 GPU 全天运行而需求并不持续。
Hugging Face 宣布 OpenEnv 改由委员会协调,成员包括 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia、Mercor、Fleet AI、Microsoft、Hugging Face 和 RadixArk,项目地址迁至 huggingface/OpenEnv。
推荐理由:OpenEnv 从单一项目转为多方共管的协议层,读者可据此判断开源智能体 RL 环境标准化的路径。
Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search,并将在未来几周进入 Chrome;该验证功能在 Gemini 中已被使用 5000 万次。
推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel,读者可据此了解内容溯源工具的实际覆盖范围。
Hugging Face 发布《State of Open Source on Hugging Face: Spring 2026》,基于平台数据梳理过去一年开源 AI 生态变化。
推荐理由:Hugging Face 官方基于平台数据梳理开源 AI 一年变化,可看到中美下载份额、小模型与机器人子社区的走向。
Meta 与 Hugging Face 联合推出的开源框架 OpenEnv 用于在真实系统而非模拟环境中评测 AI 智能体,Turing 为其贡献了生产级日历管理环境 Calendar Gym。
推荐理由:通过 Calendar Gym 的实测数据,读者能看到工具型智能体在多步推理、歧义消解和参数执行上的具体失败模式。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道,并发布覆盖 60+ 模型、18 家机构、11 个数据集的 ASR 趋势预印本。Conformer 编码器加 LLM 解码器在英语转录准确率上领先,CTC/TDT 解码器吞吐量快 10–100 倍;多语言仍以 Whisper Large v3 为强基线,长音频则闭源系统暂时领先。
Meta 与 Hugging Face 合作推出 OpenEnv Hub,一个面向智能体环境的开放共享社区中心,开发者可构建、分享和探索兼容 OpenEnv 的环境,用于训练和部署。
推荐理由:Meta 与 Hugging Face 联合推出智能体环境共享 Hub,并发布 0.1 规范草案,读者可据此了解智能体训练与部署的开放基础设施走向。
Meta 发布 GAIA 后续智能体基准 Gaia2,并开源配套的 Meta Agents Research Environments(ARE)框架,用于运行、调试和评测智能体。
推荐理由:GAIA 后续基准 Gaia2 与 Meta ARE 环境同时开源,读者可了解智能体在噪声、时间与歧义场景下的评测方式。
NVIDIA 的 AI-Q Blueprint 在 DeepResearch Bench 的 Hugging Face "LLM with Search" 榜单上以 40.52 分登顶,成为得分最高的完全开源许可方案。
Hugging Face 发文回顾过去一年视觉语言模型(VLM)的关键变化,涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Meta 发布 Llama Guard 4,一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型,可评估纯文本和图文输入,覆盖 MLCommons 定义的 14 类危害及代码解释器滥用,可在单张 24GB 显存 GPU 上运行。
推荐理由:Meta 发布 12B 多模态安全模型与两款提示注入分类器,并给出可直接运行的 transformers 示例。
Meta 发布 Llama 4 Maverick(约 400B 总参数)和 Llama 4 Scout(约 109B 总参数)两款 MoE 模型,均为 17B 激活参数,原生支持文本与图像输入,已在 Hugging Face Hub 上线。
推荐理由:文章给出 Llama 4 两款 MoE 模型的参数、上下文长度与架构细节,便于判断其部署门槛与长上下文能力。
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena,测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型,共 7 个 LLM,通过 Gradio 界面并行对话。
Capital Fund Management(CFM)借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核,微调出的小模型在金融 NER 任务上准确率最高提升 6.4%,推理成本较大模型降低最多 80 倍。
Hugging Face 博客通过逐步迭代改进位置编码方案,最终推导出被 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码(RoPE)。
Hugging Face 介绍了基于 LayerSkip 的 self-speculative decoding,用同一 LLM 的早期层生成 draft token、深层验证,从而加速文本生成并节省显存。
Keras 从第一天起就支持 Llama 3.2,可直接从 Hugging Face 的 safetensors checkpoint 加载,包括 3.2 版本,需要转换时即时完成。
Meta 发布 Llama 3.2 系列共 10 个开放权重模型,包括 5 个多模态模型和 5 个纯文本模型,均已上线 Hugging Face。
推荐理由:Hugging Face 与 Meta 同步放出 10 个开放权重模型,并给出端侧运行与单卡微调的具体路径。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,无需从零预训练。他们用 BitNet 架构微调 Llama3 8B,其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调,模型以 HF1BitLLM 组织发布,在 MMLU 上超过 Llama 1 7B。
推荐理由:原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录,可迁移到其他模型的低比特微调。
Hugging Face 发布教程,介绍如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B。该模型于 2024 年 7 月发布,提供 8B、70B、405B 三种规模,支持 128K tokens 上下文、多语言和工具调用。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用,无需或只需极少模型专属改动。
推荐理由:Hugging Face 把工具调用统一进 chat template,读者可据此判断跨模型复用同一套代码的可行边界。
Meta 发布 Llama 3.1 系列,含 8B、70B、405B 三个尺寸的 base 与 instruct 版本,共 6 个开放权重模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:Hugging Face 官方给出 Llama 3.1 三个尺寸的显存、微调与量化配置,可据此估算部署成本。
Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题,LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作,将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection,支持从 Azure AI Studio 一键部署。
Hugging Face 宣布 AMD Instinct MI300 GPU 已在 Hugging Face 平台实现一等公民级集成,transformers 与 text-generation-inference 无需改代码即可在 MI300 上运行。
Meta 发布 Llama 3 系列开源大模型,包含 8B 和 70B 两个尺寸,各有 base 与 instruct 版本,上下文长度 8K tokens,并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由:Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式,读者可据此了解新模型规格与上手路径。
Hugging Face 展示了如何用 Optimum Habana 和自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型(7b、13b、70b)进行文本生成,只需几行代码即可完成端到端的预处理与后处理。
Hugging Face 发布教程,演示如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。
Hugging Face 回顾 2023 年开源 LLM 进展,指出公众对开源与闭源模型的讨论已触及广泛受众。2022 年的开源模型仍延续规模竞赛,如 176B 参数的 BLOOM、175B 参数的 OPT 和 GLM-130B,而 2023 年转向对数据的重视。
Hugging Face 博客用 LoRA 微调 RoBERTa-large(355M)、Llama-2-7b 和 Mistral-7B-v0.1 三个模型,在灾难推文二分类任务上做对比评测。实验统一设置 MAX_LEN=512,在单张 A6000(48GB)上训练,并用 Weights & Biases 做超参调优与实验记录。
Hugging Face 发布教程,演示如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到自己的私有 Space,以避免长时间排队。
Hugging Face 发布面向非工程师的教程,用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码,把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由:Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程,可迁移到其他开源模型。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试,覆盖 7B、13B、70B 三种模型规模,在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例上测试 1、5、10、20 并发请求,并对比 GPTQ 4-bit 量化效果。
Hugging Face 发布教程,介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B,并给出在 2 节点 16 张 A100 80GB 上的完整配置。
推荐理由:原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法,可迁移到同类大模型训练。
Meta 发布 Code Llama,这是基于 Llama 2 训练、专注代码任务的开放模型家族,提供 7B、13B、34B 三种参数规模,并采用与 Llama 2 相同的宽松社区许可、可商用。
推荐理由:梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径,便于判断能否直接用于代码补全。
Hugging Face 在 TRL 库中上线 Direct Preference Optimization(DPO)方法,并给出用 QLoRA 在 Llama v2 7B 上基于 stack-exchange 偏好数据微调的完整流程。
推荐理由:TRL 官方给出 DPO 在 Llama 2 上的完整训练流程与代码,读者可据此在自己的偏好数据上复现。