dottxt 与 Hugging Face 发布 Outlines-core 0.1.0：用 Rust 重写结构化生成核心算法
dottxt 与 Hugging Face 合作发布 outlines-core，这是 outlines 结构化生成核心算法的 Rust 移植版，0.1.0 的 Python 绑定已上线。
推荐理由：Outlines 核心算法用 Rust 重写并发布 0.1.0，读者可了解结构化生成在速度与可移植性上的变化。
#部署/工程
#部署/工程
今日 9 条Hugging Face Blog精选AI 评分6262 Hugging Face BlogAI 评分3838 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）级联流水线，整合 VAD、STT、语言模型与 TTS，支持英语、法语、西班牙语、中文、日语和韩语，可单语言运行或用 auto 标志自动检测语言。
Hugging Face BlogAI 评分3636 Keras 中的 Llama 3.2：从第一天起即可用
Keras 从第一天起就支持 Llama 3.2，可直接从 Hugging Face 的 safetensors checkpoint 加载，包括 3.2 版本，需要转换时即时完成。
Hugging Face BlogAI 评分4242 AMD 发布第五代 EPYC CPU（Turin）：最高 192 核 384 线程，Llama 3.1 8B 推理吞吐约为 Genoa 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face BlogAI 评分4848 Gradio 5 安全审计：Trail of Bits 发现的漏洞已全部修复
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计，发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
Hugging Face BlogAI 评分3838 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，用 FineWeb-Edu 分类器处理 FineWeb 数据集，从本地 pandas 的 100 行扩展到云端多 GPU 的 2.11 亿行。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Gradio 5 稳定版
Hugging Face 发布 Gradio 5 稳定版，开发者可用几行 Python 构建生产级机器学习 Web 应用，通过 pip install --upgrade gradio 升级。
推荐理由：Gradio 5 的稳定版发布，列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
Hugging Face BlogAI 评分5252 Intel Labs 与 Hugging Face 提出动态推测解码，加速文本生成最高 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码（dynamic speculative decoding），根据草稿模型对每个 token 的置信度动态调整推测前瞻长度，最高可加速文本生成 2.7 倍。
Hugging Face BlogAI 评分2222 Hugging Face 如何提升 Hub 上 Parquet 文件的去重效率
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果：追加 1 万行可去重 99.1%，仅多占 20MB；但修改一行因列头含绝对偏移量只去重 89%，需额外 230MB，删除一行则使后半文件全部重写。团队提出改用相对偏移量、按行组做内容定义分块两种改进思路，并希望与 Apache Arrow 社区合作落地。
OpenAI News精选AI 评分6060 OpenAI 在 API 中推出 Prompt Caching
OpenAI 在 API 中推出 Prompt Caching，对模型近期见过的输入自动提供折扣。该功能面向重复使用相同输入前缀的调用场景，具体折扣幅度与使用方式原文未给出。
推荐理由：OpenAI 在 API 中上线提示词缓存，对模型近期见过的输入自动打折，读者可据此评估调用成本变化。
Hugging Face BlogAI 评分2222 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Hugging Face Blog精选AI 评分6060 如何把 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 发布 Accelerate 1.0.0 首个候选版本，可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由：Accelerate 1.0 候选版发布，梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动，便于评估升级成本。
OpenAI NewsAI 评分1212 OpenAI 分享数百次成功部署的经验：让 AI 投入实际工作
OpenAI 基于数百次成功部署经验，总结出让 AI 投入实际工作的方法。内容聚焦企业落地 AI 的实践教训，而非新模型或产品发布。
Hugging Face BlogAI 评分3434 Hugging Face 上 5 个最被低估的工具
Hugging Face 博客盘点了 Hub 上 5 个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分4040 Hugging Face 用 Flash Attention 2 与打包训练将吞吐提升至 2 倍
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无填充的打包指令微调与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍且不损失收敛质量。
Hugging Face BlogAI 评分2222 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，介绍如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B。该模型于 2024 年 7 月发布，提供 8B、70B、405B 三种规模，支持 128K tokens 上下文、多语言和工具调用。
Hugging Face BlogAI 评分3434 Infini-Attention 复现失败实验：压缩次数越多性能越差，长上下文仍靠 Ring Attention 与 YaRN
Hugging Face 复现 Google 的 Infini-Attention 后发现，随着记忆压缩次数增加，模型性能持续下降，且 90% 时间耗在调试收敛问题上。团队认为，将预训练模型扩展到更长上下文，Ring Attention、YaRN 和 rope scaling 仍是目前最佳方案。相关训练 checkpoint 已开源，代码按原样提供。
Hugging Face BlogAI 评分2828 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
Mistral AIAI 评分5050 Mistral AI 推出模型定制、Agents 预览版与 mistralai 1.0 SDK
Mistral AI 宣布在 La Plateforme 上支持对 Mistral Large 2 和 Codestral 等旗舰及专用模型进行定制，可通过基础提示词、few-shot 提示或微调实现，并支持自带数据集。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出 Structured Outputs
OpenAI 在 API 中推出 Structured Outputs，模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由：OpenAI 在 API 中加入结构化输出，开发者可据此判断 JSON Schema 约束对下游解析流程的影响。
Hugging Face BlogAI 评分3636 用 Quanto 和 Diffusers 实现内存高效的 Diffusion Transformer
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例，将扩散主干与文本编码器量化为 FP8 后，SD3 推理显存从 16.403 GB 降至 8.204 GB，质量几乎无损但延迟略有上升。
Hugging Face BlogAI 评分4040 Hugging Face 与 NVIDIA 推出 NVIDIA NIM API 无服务器推理服务
Hugging Face 面向 Enterprise Hub 组织推出 NVIDIA NIM API（无服务器），基于 NVIDIA DGX Cloud 加速计算，可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧部署流程。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA 服务：一次部署服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
OpenAI NewsAI 评分2222 OpenAI 为 ChatGPT Enterprise 推出合规与管理工具
OpenAI 为 ChatGPT Enterprise 新增 Compliance API 集成、SCIM 和 GPT 控制功能，用于支持合规项目、数据安全和大规模用户访问管理。
Hugging Face BlogAI 评分4040 Hugging Face 与 KerasHub 集成：Transformers 模型可直接加载
Hugging Face Hub 与 KerasHub 实现共享模型保存格式，Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma，模型可无缝使用 TensorFlow、JAX 或 PyTorch 后端，需将 keras 升级至 3.3.3 以上。
Hugging Face BlogAI 评分4242 Google Cloud TPU 现已上线 Hugging Face Inference Endpoints 和 Spaces
Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e，提供 v5litepod-1（1 核 16 GB，$1.375/小时）、v5litepod-4（4 核 64 GB，$5.50/小时）和 v5litepod-8（8 核 128 GB，$11.00/小时）三种配置。
Hugging Face BlogAI 评分2222 Banque des Territoires x Polyconseil x Hugging Face：用主权数据方案升级法国校园环保项目 EduRénov
Banque des Territoires（CDC 集团）、Polyconseil 与 Hugging Face 合作，为法国校园生态改造项目 EduRénov 开发基于 RAG 的主权数据方案，首阶段已完成。该方案用于优化 BdT 专家与建筑所属社区之间大量邮件沟通，目标支持 10,000 个公立学校设施改造、5 年内节能 40%，项目已提供 20 亿欧元贷款和 5000 万欧元前期工程资金。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub，可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分2020 XLSCOUT 推出专利领域嵌入模型 ParaEmbed 2.0，获 Hugging Face 专家支持
XLSCOUT 发布专为专利与知识产权场景打造的嵌入模型 ParaEmbed 2.0，基于专家标注的多领域专利数据微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face BlogAI 评分1212 Prezi 如何借助 Hugging Face Hub 与专家支持计划加速多模态 ML 路线图
视觉沟通软件公司 Prezi 加入 Hugging Face Expert Support Program，将更小、更高效的开放模型整合进其 ML 工作流。其旗舰产品 Prezi AI 通过提示词自动生成演示草稿，专家建议在检索流程中加入开源 re-ranker 模型，以更低成本、更快速度找到最佳图文素材。
Hugging Face BlogAI 评分2828 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐，并新增低精度模式供显存受限场景使用。
Hugging Face BlogAI 评分2626 Hugging Face 为 Amazon SageMaker 推出 Embedding Container
Hugging Face Embedding Container for Amazon SageMaker 正式 GA，AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Mistral AIAI 评分1212 Mistral AI 举办微调黑客松，总奖池 7500 欧元 API 额度
Mistral AI 于 6 月 5 日至 30 日举办线上微调黑客松，参赛项目必须使用其全新的微调 API。前三名各获 2500 欧元 Mistral API 额度，入选者可申请 100 美元免费额度，需在 6 月 10 日前提交表单。评审按影响力、技术实现、创意和展示各占 25% 打分，团队最多 4 人。
Hugging Face BlogAI 评分2424 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana，可加速文本生成。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face BlogAI 评分3636 Hugging Face 如何对 Text Generation Inference 进行基准测试
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并测量吞吐量与延迟，帮助用户按需调优 LLM 部署。
Hugging Face BlogAI 评分4242 Hugging Face 支持从 Hub 部署模型到 AWS Inferentia2
Hugging Face 将 AWS Inferentia2 部署能力扩展至 Hub 上超 10 万个公开模型，新增 albert、bert、roberta、vit 等 14 种模型架构和 text-classification、text-generation 等 6 类任务，可通过 Amazon SageMaker 部署。
Hugging Face BlogAI 评分3535 Hugging Face 与微软深化合作：Azure 模型库新增 Llama 3、Mistral 7B 等开源模型
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face BlogAI 评分4242 Hugging Face 平台完成对 AMD Instinct MI300 GPU 的一等公民级集成
Hugging Face 宣布 AMD Instinct MI300 GPU 已在 Hugging Face 平台实现一等公民级集成，transformers 与 text-generation-inference 无需改代码即可在 MI300 上运行。