Hugging Face 在 Transformers 中推出 KV Cache 量化功能
Hugging Face 在 Transformers 中新增 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，int4 精度下质量接近 fp16。
#开源生态
#开源生态
今日 5 条Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分2222 Hugging Face 推出 Open Arabic LLM Leaderboard
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），用于评估和对比阿拉伯语大语言模型性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型家族 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：梳理了 PaliGemma 的三种权重类型、分辨率与精度选择，并给出 transformers 推理与微调的可复用代码。
Hugging Face BlogAI 评分4242 Hugging Face 与 LangChain 联合推出 langchain-huggingface 合作包
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，这是一个由双方共同维护的 Python 包，可通过 pip install langchain-huggingface 安装。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增两类可基于历史观察迭代的智能体，并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体，排名第 4，成为开源类别领先者。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用边界。
Hugging Face BlogAI 评分2222 Hugging Face 支持用 AWS 账户订阅 Enterprise Hub
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub，用户可在 AWS Marketplace 完成订阅并关联 Hugging Face 组织账户。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语大语言模型设计的开放排行榜，填补低资源语言评测空白。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评测。模型通过 HuggingFace Inference Endpoints 自动部署，由 lighteval 库管理 API 请求完成评估。
Hugging Face BlogAI 评分5050 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 通过自定义 inference handler 在 Inference Endpoints 上部署 Whisper，实现 ASR、说话人分离与推测解码的组合流水线。
Hugging Face BlogAI 评分5252 Hugging Face 与 Dottxt 实验：结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队与 Dottxt 合作实验发现，结构化生成能减少提示词格式变化带来的评测方差。在 GSM8K 和 GPQA 上，使用 Outlines 约束输出结构后，Mistral-7B-v0.1 和 Zephyr-7B-beta 的分数方差降低，模型排名也更稳定。团队指出这仍需在更多模型和任务上验证。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：全透明自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval，读者可据此判断自生成数据能否替代 GPT-4 蒸馏。
Hugging Face BlogAI 评分4040 Hugging Face 发布 Open Medical-LLM Leaderboard，评测医疗大模型
Hugging Face 推出 Open Medical-LLM Leaderboard，用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等医疗问答数据集，以准确率为主要指标评测大语言模型。
Mistral AI精选AI 评分8080 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 Mixture-of-Experts 架构，141B 参数中仅 39B 激活，以 Apache 2.0 许可开放。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现，可据此判断其成本效率定位。
Hugging Face BlogAI 评分2222 用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的前提下拉取源码最新改动。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布多模态模型 Idefics2，参数量 8B，采用 Apache 2.0 开源许可，可接收任意文本与图像序列并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，读者可据此判断社区多模态微调的门槛变化。
Hugging Face Blog精选AI 评分6262 视觉语言模型解析：架构、选型与 TRL 微调实践
Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影层与文本解码器的典型结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码，并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持，附基于 llava-instruct 数据集的微调示例。
推荐理由：系统梳理视觉语言模型的架构、选型与微调流程，并给出可直接运行的 transformers 与 TRL 代码示例。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 合作，将数千个开源 LLM 引入 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud，可将数千个开源模型一键部署到 Google Cloud 的 Vertex AI 或 GKE，作为自有账号内的 API Endpoint。
Hugging Face Blog精选AI 评分6262 Google 发布代码专用模型 CodeGemma，含 2B 与 7B 三个版本
Google 发布代码专用开源模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint，额外用 5000 亿 token 的英文、数学和代码数据训练。
推荐理由：Google 与 Hugging Face 联合发布代码专用 Gemma 系列，给出三种规格与基准对比，便于判断开源代码模型的选型。
Hugging Face BlogAI 评分2626 用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是专为 DuckDB SQL 设计的大语言模型，基于 Meta Llama-2-7b 微调，并用 DuckDB text-to-SQL 数据进一步优化，可生成包括官方文档和扩展在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3838 Hugging Face 与 Wiz Research 合作提升 AI 安全
Hugging Face 宣布与云安全公司 Wiz 合作提升其平台及 AI/ML 生态的安全性，Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现了平台的安全缺陷，目前所有相关漏洞均已修复。Hugging Face 已将 Wiz 用于漏洞管理和云安全态势管理（CSPM），并基于其工具实现对 Spaces 等产品检测问题的自动修复。
Hugging Face BlogAI 评分2222 在 Intel Xeon 上用 🤗 Optimum Intel 实现 SetFit 极速推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化，可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，从而实现生产级部署。
Hugging Face BlogAI 评分4747 Hugging Face 与 Cloudflare Workers AI 集成，为开发者提供无服务器 GPU 推理
Hugging Face Hub 上线 Deploy on Cloudflare Workers AI 集成，让开发者以无服务器 API 方式调用 Llama、Gemma、Mistral 等热门开源模型，按请求付费、无需管理 GPU 基础设施。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，讲解这一开源 Python 库如何调用数千个预训练模型，并区分了 Hub 与 Spaces 的用途。教程以在 Space 中运行微软 Phi-2 LLM 为例，需租用 NVIDIA A10G GPU（每小时几美元），通过 Docker 模板部署 JupyterLab notebook 完成实操。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解嵌入二值与标量量化：检索更快更省
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中，二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘，而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由：Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测，可据此评估检索成本与性能的取舍。
Hugging Face Blog精选AI 评分6060 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于复现 Phi-1.5 的预训练数据。
推荐理由：Hugging Face 公开了复现 Phi-1.5 合成预训练数据的完整流程与代码，读者可据此了解大规模合成数据的提示词设计与工程细节。
Hugging Face Blog精选AI 评分6262 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，使 70 亿参数模型（如 Llama 架构）能在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例，读者可据此在消费级硬件上复现训练流程。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Train on DGX Cloud：用 NVIDIA H100 GPU 轻松训练模型
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可一键调用 NVIDIA H100 Tensor Core GPU 微调 Llama、Mistral、Stable Diffusion 等模型。
Hugging Face BlogAI 评分3434 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 博客展示了如何借助 Optimum Intel 与 fastRAG，在基于 Xeon 的 CPU 上加速 BGE 嵌入模型并接入现有 RAG 流水线。
Hugging Face BlogAI 评分2222 Argilla 与 Hugging Face 发起 Data is Better Together，共建偏好数据集
Argilla 与 Hugging Face 发起 Data is Better Together 实验，几天内吸引 350 名社区贡献者完成超 11,000 次 prompt 评分，并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 和自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端的预处理与后处理。
Hugging Face BlogAI 评分3838 Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印与生成后添加水印两种方式，并盘点 Hub 上的相关工具。文章还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案，并讨论开放与闭源水印的利弊。
Hugging Face BlogAI 评分4242 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行参数高效微调（PEFT）。
Hugging Face BlogAI 评分3838 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维度嵌入
Hugging Face 发布 Matryoshka 嵌入模型入门博客，介绍这类模型能产出多种维度的可用嵌入，将重要信息前置到靠前的维度，截断后仍能保持性能。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能与 Mistral 7B 相当。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。
Hugging Face BlogAI 评分2828 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩语大模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，为韩语大模型提供公开评测平台，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并使用不公开的私有测试集防止数据污染。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练定制模型：成本、延迟与碳排放对比
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face BlogAI 评分1717 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，设生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face Blog精选AI 评分6262 SegMind 发布 SegMoE：从零构建混合专家扩散模型框架
SegMind 发布 SegMoE 框架，可从零创建混合专家（MoE）扩散模型，并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型（Apache 2.0 许可）以及配套 GitHub 仓库，用户通过 config.yaml 即可组合任意数量的模型，几分钟内完成构建。
推荐理由：原文给出从零构建扩散模型 MoE 的完整流程与显存代价，读者可据此判断本地部署门槛。
Hugging Face BlogAI 评分4242 Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI（CAI）的端到端配方，并开源了 llm-swarm 工具，用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI 生态
Hugging Face 宣布与 Google Cloud 建立战略合作，围绕开放科学、开源、云与硬件展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。