Mistral AI 发布 24B 模型 Mistral Small 3，Apache 2.0 开源
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出量化后单卡本地部署的具体条件，便于判断端侧选型。
#部署/工程
#部署/工程
今日 8 条Mistral AI精选AI 评分7878 Hugging Face BlogAI 评分4848 如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型，包括 DeepSeek-R1-Zero、DeepSeek-R1 及 6 个基于 Llama 和 Qwen 架构蒸馏的密集模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 在 Hub 上线 Inference Providers，接入 fal、Replicate、SambaNova、Together AI
Hugging Face 在 Hub 的模型页上线 Inference Providers，首批接入 fal、Replicate、SambaNova 和 Together AI 四家无服务器推理服务，并集成到 JS 与 Python 客户端 SDK。
推荐理由：Hugging Face 把四家无服务器推理商接入模型页与 SDK，读者可据此判断多供应商调用与计费方式的变化。
Hugging Face BlogAI 评分4242 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分2222 Hugging Face 与 FriendliAI 合作，在 Hub 上集成 FriendliAI Endpoints 部署选项
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI Endpoints 作为部署选项集成进 Hugging Face Hub 的“Deploy this model”按钮，支持一键部署开源或自定义生成式 AI 模型。
OpenAI News精选AI 评分6262 OpenAI 就 Stargate 基础设施公开征集合作方
OpenAI 发布 Stargate Infrastructure 合作征集，面向数据中心建设相关企业寻求合作。征集范围覆盖电力、土地、施工、设备等数据中心基础设施环节，目标是推进其 AGI 基础设施愿景。
推荐理由：OpenAI 公开征集数据中心基础设施合作方，可了解其 AGI 算力建设覆盖的环节范围。
Hugging Face BlogAI 评分5252 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text-Generation-Inference（TGI）引入 TGI Backends 架构，通过 Rust 的 Backend trait 把 HTTP 服务与调度层同推理引擎解耦，使 TGI 可作为统一前端层接入不同后端。
Hugging Face BlogAI 评分4040 Hugging Face 推出 TimmWrapper：在 transformers 中直接使用任意 timm 模型
Hugging Face 发布 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，支持 pipeline API、Auto 类和 Trainer 微调。该工具可用约 5 行代码配合 BitsAndBytesConfig 完成 8bit 量化，并支持 torch.compile 加速推理与 LoRA 适配器微调，微调后模型还能回到 timm 使用。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 代码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，代码生成与补全速度约为原版 Codestral 的 2 倍，上下文长度 256k。
推荐理由：Codestral 25.01 在 FIM 与多语言基准上给出与同量级模型的对比数据，可据此判断代码补全场景的选型。
Hugging Face Blog精选AI 评分6262 如何可视化并理解 PyTorch 训练中的 GPU 显存占用
Hugging Face 发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由：文章用 PyTorch 内存快照拆解训练各阶段显存占用，并给出可复用的显存估算公式。
Hugging Face BlogAI 评分4040 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 推出 LogitsProcessorZoo，一组模块化 logits 处理器，可控制序列长度、强制关键短语、引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。该库通过直接修改语言模型头部的预测分数实现细粒度控制，安装命令为 pip install logits-processor-zoo。
Hugging Face BlogAI 评分5555 IBM 联合高校发布混合 Mamba2 模型 Bamba-9B
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，在 vLLM 中相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速。
Hugging Face BlogAI 评分2222 Hugging Face 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Xeon，Emerald Rapids，支持 AMX）与 N2（第 3 代 Xeon，Ice Lake，仅 AVX-512）两款 96 vCPU 实例上，对文本嵌入和文本生成两类智能体 AI 负载做了对比。
Hugging Face BlogAI 评分2222 Hugging Face 模型上架 Amazon Bedrock Marketplace
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供，AWS 客户可直接部署并调用 Bedrock 的 Agents、Knowledge Bases、Guardrails 等 API。
Hugging Face BlogAI 评分3434 LLM 修复自身错误的能力如何？一项基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio 界面并行对话。
Hugging Face BlogAI 评分2222 CFM 如何用 LLM 辅助标注微调小模型，将金融 NER 成本降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核，微调出的小模型在金融 NER 任务上准确率最高提升 6.4%，推理成本较大模型降低最多 80 倍。
Hugging Face BlogAI 评分3434 Hugging Face 重新设计 Hub 上传与下载架构
Hugging Face 正在重新设计 Hub 的上传与下载架构，引入内容寻址存储（CAS）和自定义传输协议，采用“简单读取、智能写入”的思路，在字节层面分析文件以加速传输。新方案中读取仍由 S3 和 CloudFront 支撑，写入则通过 CAS 按 chunk 校验并只传输新增部分，压缩 tensor 文件（如 Safetensors）有望将上传速度提升 10-25%。
OpenAI NewsAI 评分2222 用 GPT-4o 视觉微调构建更智能的地图
OpenAI 发布案例，展示如何用 GPT-4o 的视觉微调能力构建更智能的地图。
Hugging Face BlogAI 评分3838 Hugging Face 详解 Self-Speculative Decoding：用 LayerSkip 加速文本生成
Hugging Face 介绍了基于 LayerSkip 的 self-speculative decoding，用同一 LLM 的早期层生成 draft token、深层验证，从而加速文本生成并节省显存。
Hugging Face BlogAI 评分4242 Hugging Face 如何用内容定义分块提升存储效率
Hugging Face 的 Xet 团队提出用内容定义分块（CDC）替代 Git LFS 的文件级存储，只传输和保存被修改的 chunk。在 CORD-19 数据集基准中，Xet 方案平均下载时间从 51 分钟降至 19 分钟，上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。
Mistral AIAI 评分4242 Mistral AI 推出 Batch API，批量推理成本降低 50%
Mistral AI 在 La Plateforme 上线 Batch API，处理高并发请求的成本比同步 API 调用低 50%。该 API 面向优先考虑数据量而非同步响应的场景，用户上传批处理文件后下载输出结果，适用于情感分析、文档批量摘要翻译、向量嵌入和数据标注等任务。目前覆盖 La Plateforme 上全部模型，每个工作区限制 100 万个进行中请求，后续将登陆其云服务合作伙伴平台。
Mistral AIAI 评分4747 Mistral AI 发布内容审核 API，由 Le Chat 审核服务驱动
Mistral AI 推出内容审核 API，与 Le Chat 审核服务同源，提供原始文本和对话内容两个端点。该模型是基于 LLM 的分类器，可将文本归入 9 个类别，原生支持阿拉伯语、中文、英语、法语、德语等 11 种语言，并针对模型生成的有害内容（如不专业建议和 PII）引入务实的安全方案。
Hugging Face BlogAI 评分3434 Hugging Face 集成进 PyCharm：右键即可插入 HF 模型
Hugging Face 在 PyCharm 中推出集成功能，开发者右键选择 "Insert HF Model" 即可搜索并插入模型代码，例如 microsoft/Phi-3.5-vision-instruct，无需打开浏览器就能在十分钟内跑通图像文本对话。
Hugging Face Blog精选AI 评分6262 Universal Assisted Generation：用任意辅助模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型与任意模型族的辅助模型配对，无需共享 tokenizer。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法，读者可了解无需同族小模型即可加速推理的思路与实测数据。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出 HUGS 生成式 AI 服务，零配置部署开源模型
Hugging Face 发布 Hugging Face Generative AI Services（HUGS），一套零配置的优化推理微服务，用于在自有基础设施上部署开源模型。
推荐理由：HUGS 把开源模型的优化部署从数周压缩到分钟级，并给出兼容 OpenAI API 的迁移路径，适合关注自托管推理成本的团队参考。
Hugging Face Blog精选AI 评分6262 dottxt 与 Hugging Face 发布 Outlines-core 0.1.0：用 Rust 重写结构化生成核心算法
dottxt 与 Hugging Face 合作发布 outlines-core，这是 outlines 结构化生成核心算法的 Rust 移植版，0.1.0 的 Python 绑定已上线。
推荐理由：Outlines 核心算法用 Rust 重写并发布 0.1.0，读者可了解结构化生成在速度与可移植性上的变化。
Hugging Face BlogAI 评分3838 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）级联流水线，整合 VAD、STT、语言模型与 TTS，支持英语、法语、西班牙语、中文、日语和韩语，可单语言运行或用 auto 标志自动检测语言。
Hugging Face BlogAI 评分3636 Keras 中的 Llama 3.2：从第一天起即可用
Keras 从第一天起就支持 Llama 3.2，可直接从 Hugging Face 的 safetensors checkpoint 加载，包括 3.2 版本，需要转换时即时完成。
Hugging Face BlogAI 评分4242 AMD 发布第五代 EPYC CPU（Turin）：最高 192 核 384 线程，Llama 3.1 8B 推理吞吐约为 Genoa 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face BlogAI 评分4848 Gradio 5 安全审计：Trail of Bits 发现的漏洞已全部修复
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计，发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
Hugging Face BlogAI 评分3838 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，用 FineWeb-Edu 分类器处理 FineWeb 数据集，从本地 pandas 的 100 行扩展到云端多 GPU 的 2.11 亿行。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Gradio 5 稳定版
Hugging Face 发布 Gradio 5 稳定版，开发者可用几行 Python 构建生产级机器学习 Web 应用，通过 pip install --upgrade gradio 升级。
推荐理由：Gradio 5 的稳定版发布，列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
Hugging Face BlogAI 评分5252 Intel Labs 与 Hugging Face 提出动态推测解码，加速文本生成最高 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码（dynamic speculative decoding），根据草稿模型对每个 token 的置信度动态调整推测前瞻长度，最高可加速文本生成 2.7 倍。
Hugging Face BlogAI 评分2222 Hugging Face 如何提升 Hub 上 Parquet 文件的去重效率
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果：追加 1 万行可去重 99.1%，仅多占 20MB；但修改一行因列头含绝对偏移量只去重 89%，需额外 230MB，删除一行则使后半文件全部重写。团队提出改用相对偏移量、按行组做内容定义分块两种改进思路，并希望与 Apache Arrow 社区合作落地。
OpenAI News精选AI 评分6060 OpenAI 在 API 中推出 Prompt Caching
OpenAI 在 API 中推出 Prompt Caching，对模型近期见过的输入自动提供折扣。该功能面向重复使用相同输入前缀的调用场景，具体折扣幅度与使用方式原文未给出。
推荐理由：OpenAI 在 API 中上线提示词缓存，对模型近期见过的输入自动打折，读者可据此评估调用成本变化。
Hugging Face BlogAI 评分2222 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Hugging Face Blog精选AI 评分6060 如何把 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 发布 Accelerate 1.0.0 首个候选版本，可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由：Accelerate 1.0 候选版发布，梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动，便于评估升级成本。
OpenAI NewsAI 评分1212 OpenAI 分享数百次成功部署的经验：让 AI 投入实际工作
OpenAI 基于数百次成功部署经验，总结出让 AI 投入实际工作的方法。内容聚焦企业落地 AI 的实践教训，而非新模型或产品发布。
Hugging Face BlogAI 评分3434 Hugging Face 上 5 个最被低估的工具
Hugging Face 博客盘点了 Hub 上 5 个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。