Mistral AI 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用从零训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与宽高比，可在 128k token 上下文窗口中处理任意数量图像。
推荐理由：官方给出 Pixtral 12B 的架构、基准与部署方式，可据此判断开源多模态模型在文档与图表任务上的位置。
#开源生态
#开源生态
今日 5 条Mistral AI精选AI 评分7070 Hugging Face BlogAI 评分4848 Hugging Face 在 Datasets 上推出 SQL Console
Hugging Face 在 Hub 的每个数据集上新增 SQL Console，点击即可在浏览器内用 DuckDB WASM 直接查询数据集，无需后端依赖。支持完整 DuckDB 语法、结果导出为 parquet，并可通过链接分享公开数据集的查询结果；内存上限约 3GB，暂不支持 hf:// 协议。
Hugging Face BlogAI 评分3434 Hugging Face 上 5 个最被低估的工具
Hugging Face 博客盘点了 Hub 上 5 个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分4040 Hugging Face 用 Flash Attention 2 与打包训练将吞吐提升至 2 倍
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无填充的打包指令微调与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍且不损失收敛质量。
Hugging Face BlogAI 评分2828 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出统一工具调用 API，覆盖 Mistral、Cohere、NousResearch 与 Llama 模型
Hugging Face 在 Transformers 中推出统一的工具调用 API，同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用，无需或只需极少模型专属改动。
推荐理由：Hugging Face 把工具调用统一进 chat template，读者可据此判断跨模型复用同一套代码的可行边界。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 XetHub，将用其技术替换 Hub 的 Git LFS 存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入并整合 XetHub 技术到 Hub。XetHub 此前开发了让 Git 扩展到 TB 级仓库的技术，HF 计划借此替换现有 Git LFS 存储后端，实现分块存储与去重，例如 10GB Parquet 文件新增一行只需重传少量分块。
推荐理由：Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端，读者可了解大文件版本管理将如何变化。
Hugging Face BlogAI 评分2222 Hugging Face 2024 年安全功能盘点：从细粒度 Token 到企业级 SSO
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能：面向所有用户的细粒度 Token、2FA、GPG commit 签名、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化恶意软件、pickle 与密钥扫描。
Hugging Face BlogAI 评分2828 Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像修复生成语义相近、视觉失真的样本，还可将任意文本渲染到图像上合成数据。初版中的同义词替换因耗时过高已被移除。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用。同时发布 ShieldGemma 安全分类器系列（2B、9B、27B），用于过滤应用输入输出，以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用组合。
Hugging Face Blog精选AI 评分8888 Llama 3.1 发布：405B、70B 与 8B，支持多语言和长上下文
Meta 发布 Llama 3.1 系列，含 8B、70B、405B 三个尺寸的 base 与 instruct 版本，共 6 个开放权重模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：Hugging Face 官方给出 Llama 3.1 三个尺寸的显存、微调与量化配置，可据此估算部署成本。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧部署流程。
Mistral AI精选AI 评分7575 Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，支持最长 128k tokens 上下文窗口，预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源，可替换现有 Mistral 7B 系统。
推荐理由：Mistral 与 NVIDIA 联合发布的 12B 模型，给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据，便于判断其替换 Mistral 7B 的可行性。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA 服务：一次部署服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
Mistral AI精选AI 评分7171 Mistral 发布 Codestral Mamba 代码模型
Mistral AI 发布 Codestral Mamba，这是继 Mixtral 系列之后在新架构上的又一步探索，可免费使用、修改和分发。该模型采用 Mamba 架构，具备线性时间推理和理论上可建模无限长序列的能力，在 256k tokens 的上下文检索能力上做了测试，Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。
推荐理由：Mistral 发布基于 Mamba 架构的代码模型，给出参数规模、256k 检索测试和多种部署路径，可据此判断非 Transformer 架构在代码场景的可用性。
Hugging Face Blog精选AI 评分6060 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先用数十万条 CoT 数据训练，再用约 6 万条工具集成推理数据训练，推理时采用 SC-TIR 解码，生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由：获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节，可迁移到其他推理任务。
Hugging Face BlogAI 评分4040 Hugging Face 与 KerasHub 集成：Transformers 模型可直接加载
Hugging Face Hub 与 KerasHub 实现共享模型保存格式，Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma，模型可无缝使用 TensorFlow、JAX 或 PyTorch 后端，需将 keras 升级至 3.3.3 以上。
Hugging Face BlogAI 评分3838 TRL 库新增对视觉语言模型（VLM）的 DPO 支持
Hugging Face 的 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并提供了完整训练指南。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma 等模型。
Hugging Face BlogAI 评分2222 Banque des Territoires x Polyconseil x Hugging Face：用主权数据方案升级法国校园环保项目 EduRénov
Banque des Territoires（CDC 集团）、Polyconseil 与 Hugging Face 合作，为法国校园生态改造项目 EduRénov 开发基于 RAG 的主权数据方案，首阶段已完成。该方案用于优化 BdT 专家与建筑所属社区之间大量邮件沟通，目标支持 10,000 个公立学校设施改造、5 年内节能 40%，项目已提供 20 亿欧元贷款和 5000 万欧元前期工程资金。
Hugging Face BlogAI 评分2222 Hugging Face Dataset Hub 新增四项数据集搜索功能
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能，可按文本、图像、音频等模态及最小/最大行数过滤数据集。行数信息覆盖所有支持格式的数据集，超大数据集则基于前 5GB 内容估算总行数。新筛选器可与语言、任务、许可证等已有条件组合使用。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 在 GAIA 基准上登顶
Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节，包括工具设计、安全解释器与规划策略，可迁移到自建智能体系统。
Hugging Face Blog精选AI 评分7878 Google 发布开源模型 Gemma 2，含 9B 与 27B 两个版本
Google 发布开源大模型 Gemma 2，提供 9B 和 27B 两个规模，各有预训练基础版和指令微调版，上下文长度 8K tokens，沿用可商用、可微调、可再分发的宽松许可。
推荐理由：梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动，并给出与 Llama 3、Qwen 1.5 的基准对比。
Hugging Face BlogAI 评分2222 Hugging Face 伦理与社会通讯 #6：构建更好的 AI，数据质量为何至关重要
Hugging Face 发布《伦理与社会通讯 #6》，聚焦高质量数据对 AI 开发的重要性。文章指出好数据并非只是准确或量大，而是契合特定用途，需具备相关性、全面性、时效性并减少偏见，同时强调数据质量能提升模型表现、泛化能力与效率，并推动公平与可问责。
Hugging Face BlogAI 评分2222 Hugging Face 与 Argilla 回顾 Data Is Better Together 计划并公布后续方向
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集，吸引超 385 人参与，并被用于构建 SPIN 等新模型。
Hugging Face BlogAI 评分2828 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐，并新增低精度模式供显存受限场景使用。
Hugging Face Blog精选AI 评分7272 Stable Diffusion 3 Medium 上线 Hugging Face，Diffusers 集成并给出显存优化方案
Stability AI 的 Stable Diffusion 3 Medium（2B 参数）已在 Hugging Face Hub 发布，可通过 Diffusers 调用。
推荐理由：原文给出 SD3 Medium 的架构变化、Diffusers 集成与显存优化实测数据，读者可据此判断本地部署门槛。
Hugging Face BlogAI 评分5858 Hugging Face 在 TRL 中推出 RLOO Trainer
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外的在线 RLHF 训练算法。
Hugging Face BlogAI 评分1818 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，以解决内容割裂、难导航、过时的问题。新版文档将面向构建 AI 产品的开发者，采用代码优先、解决方案导向的写法，并用更灵活的结构取代此前对 Diátaxis 框架的僵化套用，让内容自然生长、彼此整合而非层层叠加。
Hugging Face BlogAI 评分4747 Artificial Analysis 推出文生图排行榜与竞技场
Artificial Analysis 发布文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Mistral AI精选AI 评分6262 Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上线模型定制功能，提供三个入口：开源微调代码库 mistral-finetune、平台上的 serverless 微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此判断自建与托管两条路径的成本差异。
Hugging Face BlogAI 评分4040 Hugging Face 推出 NPC-Playground：在 3D 游乐场中与 LLM 驱动的 NPC 互动
Hugging Face 发布由 Cubzh 和 Gigax 打造的 3D 演示 NPC-Playground，用户可在浏览器中与 LLM 驱动的 NPC 互动，并用几行 Lua 脚本教它们新技能。
Hugging Face BlogAI 评分2424 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana，可加速文本生成。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Mistral AI精选AI 评分7575 Mistral AI 发布首款代码模型 Codestral
Mistral AI 发布首款代码模型 Codestral，这是一个 22B 开放权重生成式模型，支持 80 多种编程语言，上下文窗口为 32k。模型采用新的 Mistral AI Non-Production License，可在 Hugging Face 下载用于研究和测试，商用需联系获取许可。
推荐理由：Mistral 首款代码模型给出 22B 开放权重、32k 上下文和免费 API 端点，可据此判断其与既有代码模型的差异。
Mistral AI精选AI 评分6262 Mistral AI 推出非生产许可证 MNPL，Codestral 率先采用
Mistral AI 发布 Mistral AI 非生产许可证（MNPL），允许开发者将技术用于非商业用途并支持研究工作，要求基于其成果开展商业业务的一方以公平可持续的方式合作。同日发布的 Codestral 采用该许可证。Mistral 表示仍会继续以 Apache 2.0 发布模型和代码，并逐步整合 Apache 2.0 与 MNPL 两条产品线。
推荐理由：Mistral 推出非生产许可证，读者可据此理解开源模型厂商在开放与商业化之间的授权取舍。
Hugging Face BlogAI 评分3636 用 Sentence Transformers 训练与微调嵌入向量模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入向量模型，以提升其在检索增强生成、语义搜索、语义文本相似度等任务上的表现，也可用于从零训练新模型。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 11B：11B 参数预训练语言模型与 VLM，训练数据超 5000B token、覆盖 11 种语言
TII 发布第二代 Falcon 模型 Falcon 2，首发 11B 参数的基础语言模型和 11B 视觉语言模型（VLM），后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器，可对图像内容进行文本问答。
推荐理由：原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比，可据此判断小尺寸开源模型的能力位置。
Hugging Face BlogAI 评分4242 Hugging Face 支持从 Hub 部署模型到 AWS Inferentia2
Hugging Face 将 AWS Inferentia2 部署能力扩展至 Hub 上超 10 万个公开模型，新增 albert、bert、roberta、vit 等 14 种模型架构和 text-classification、text-generation 等 6 类任务，可通过 Amazon SageMaker 部署。
Hugging Face BlogAI 评分3535 Hugging Face 与微软深化合作：Azure 模型库新增 Llama 3、Mistral 7B 等开源模型
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face BlogAI 评分4242 Hugging Face 平台完成对 AMD Instinct MI300 GPU 的一等公民级集成
Hugging Face 宣布 AMD Instinct MI300 GPU 已在 Hugging Face 平台实现一等公民级集成，transformers 与 text-generation-inference 无需改代码即可在 MI300 上运行。
Hugging Face BlogAI 评分3838 Hugging Face 与 Dell 推出 Dell Enterprise Hub，支持本地训练和部署开源模型
Hugging Face 与 Dell 联合推出 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将原本数周的工程工作缩短至几分钟。