Safetensors 通过外部安全审计，将成 transformers 默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做外部安全审计，未发现可导致任意代码执行的关键安全漏洞，并修复了规范格式不精确和允许 polyglot 文件的校验缺失问题。
推荐理由：外部安全审计确认 safetensors 无任意代码执行漏洞，并给出其成为默认保存格式的推进节奏。
#部署/工程
#部署/工程
今日 9 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分4242 更小即更好：Q8-Chat 在 Xeon 上的高效生成式 AI 体验
Intel 用 SmoothQuant-O3 对 OPT 2.7B/6.7B、LLaMA 7B、Alpaca 7B、Vicuna 7B、BloomZ 7.1B、MPT-7B-chat 等模型做 8-bit 量化，模型体积缩小约 2 倍，多数基准指标不降反升。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 RWKV 架构集成进 transformers 库
Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库，该架构结合 RNN 与 Transformer 的优势，由 Bo Peng 主导、Stability AI 捐赠训练 GPU。
推荐理由：RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合，并已接入 transformers 库，读者可据此判断长上下文场景的选型空间。
Hugging Face BlogAI 评分3636 用 ROCm 在单块 AMD GPU 上运行 Vicuna 13B 聊天机器人
Hugging Face 发布教程，介绍如何在单块 AMD GPU 上通过 ROCm 运行 13B 参数的 Vicuna 聊天机器人。Vicuna 由 UC Berkeley、CMU、斯坦福和 UCSD 团队基于 LLaMA 微调，训练成本约 300 美元，以 GPT-4 为参照的初步评估中质量达到 ChatGPT 的 90% 以上。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成：低延迟文本生成新方法
Hugging Face 发布辅助生成（assisted generation）方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，从而减少前向次数。
推荐理由：Hugging Face 官方给出辅助生成方法的原理与实测数据，读者可据此判断它是否适合自己现有的推理部署。
Hugging Face BlogAI 评分2222 Hugging Face Unity API 如何安装与使用
Hugging Face Unity API 是 Hugging Face Inference API 的集成，让开发者在 Unity 项目中调用 Hugging Face AI 模型。
Hugging Face BlogAI 评分3434 用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型
Hugging Face 发布教程，演示如何用 🤗 Transformers 结合 TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型，涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage，再到最终模型训练的完整流程。
Hugging Face Blog精选AI 评分6262 如何在免费版 Google Colab 上用 diffusers 运行 IF 文生图模型
Hugging Face 博客介绍如何在免费版 Google Colab（13GB CPU 内存、15GB T4 显存）上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由：原文给出在免费 Colab 上分阶段加载 IF 各组件并做 8bit 量化的完整步骤，可迁移到其他大模型的低显存部署。
Hugging Face BlogAI 评分2222 如何在 Hugging Face Space 中托管 Unity 游戏
Hugging Face 发布教程，介绍如何将 Unity 游戏托管到 Hugging Face Space。用户需创建 Static HTML 模板的 Space，将 Unity 项目构建目标切换为 WebGL，压缩格式设为 Disabled，再通过 Git-LFS 推送构建文件即可。教程还提供可选的 Hugging Face Unity WebGL 模板以美化游戏外观。
Hugging Face BlogAI 评分4040 Hugging Face 与 AWS 合作，用 Inferentia2 加速 Transformers 推理
Hugging Face 与 AWS 合作，将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速芯片进行优化，通过 optimum-neuron 只需一行代码即可编译模型。
Hugging Face BlogAI 评分2222 Snorkel AI 与 Hugging Face 合作，为企业解锁基础模型能力
Snorkel AI 与 Hugging Face 达成合作，将 Hugging Face 的 Inference Endpoints 集成进 Snorkel Flow 平台，让企业用户可直接调用其超过 150,000 个开源模型来适配自身用例。该服务支持一键创建模型 API，并具备“暂停与恢复”能力，可在客户需要时激活、不需要时休眠，从而控制成本。
Hugging Face BlogAI 评分4242 BLOOMZ 在 Habana Gaudi2 加速器上的快速推理
Hugging Face 展示如何用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ 并完成推理。基准测试中，8 卡 Gaudi2 生成 100 token 耗时 3.103 秒，比 A100 80GB 的 4.402 秒快 1.42 倍；BLOOMZ-7B 在 Gaudi2 上比 A100 快 2.89 倍。
Hugging Face BlogAI 评分4242 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术，借助 Optimum Intel 与 OpenVINO。
Hugging Face BlogAI 评分2222 Hugging Face Hub 改进 Jupyter Notebook 托管与渲染支持
Hugging Face 宣布改进 Hub 上 Jupyter Notebook 的托管支持，新增渲染功能，使原本为 JSON 格式的 ipynb 文件能以人类可读形式展示。Hub 目前已托管超 7,000 个 notebook，并支持一键在 Google Colab 中直接打开。
Hugging Face BlogAI 评分4848 Hugging Face 社区如何用机器学习搭建土耳其地震救援应用 afetharita
2023 年土耳其地震后，志愿者在 Hugging Face 上协作开发了救援地图应用 afetharita，用 easyocr 做 OCR、微调 bert-base-turkish-cased 做地址抽取，并通过 Inference API 部署。团队还用 NLI 模型与微调分类模型识别幸存者的住所、食物、物流等需求，并搭建 Space 对 F1 与召回率进行基准评测。
Hugging Face BlogAI 评分1212 Hugging Face 如何加速 Witty Works 写作助手的开发
Witty Works 借助 Hugging Face Expert Acceleration Program，将写作助手的非包容性词汇检测从基础 spaCy 方案升级为 Sentence Transformers 架构，结合 SetFit 少样本微调，每个词仅需 15-20 条标注句子即可完成分类。
Hugging Face BlogAI 评分1818 Fetch 借助 Hugging Face 与 AWS 整合 AI 工具，开发时间节省 30%
消费者奖励公司 Fetch 在 AWS 上借助 Hugging Face 专家加速计划重建自研 AI 平台，将约 15 个 AI 工具整合，开发时间缩短 30%，上传处理延迟降低 50%。
Hugging Face BlogAI 评分4242 Hugging Face 与 AWS 达成战略合作，让 AI 更普惠
Hugging Face 与 AWS 扩大长期战略合作，Hugging Face 将 AWS 作为首选云服务商，开发者可通过 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。Hugging Face 上已有超 10 万个免费模型，日均下载量超 100 万次。
Hugging Face BlogAI 评分2222 我们为何转向 Hugging Face Inference Endpoints，或许你也该考虑
Hugging Face 推出托管服务 Inference Endpoints，可将 Hub 上的模型部署到 AWS、Azure 等云端的多种实例（含 GPU）。
Hugging Face BlogAI 评分2222 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理篇
Hugging Face 联合 Intel 测试了 Sapphire Rapids 服务器上 PyTorch Transformers 的推理性能，在 distilbert-base-uncased、bert-base-uncased 和 roberta-base 三个模型上对比 Ice Lake 平台，使用最新版 Optimum Intel 库加速。
Hugging Face BlogAI 评分4747 Hugging Face Optimum 集成 ONNX Runtime：模型训练提速最高 130%
Hugging Face 与微软 ONNX Runtime 团队合作，通过 Optimum 库集成 ONNX Runtime 训练后端，让热门 Hugging Face 模型训练速度提升 35% 以上。
Hugging Face BlogAI 评分3636 用 Intel Sapphire Rapids 加速 PyTorch Transformers（上）：分布式训练实战
Hugging Face 展示了如何在 AWS 的 Intel Sapphire Rapids（第四代 Xeon）裸金属实例集群上分布式训练 PyTorch Transformers，借助 Intel oneAPI CCL 和 IPEX 库，无需改动一行代码即可启用 AMX 指令加速矩阵乘法。
Hugging Face BlogAI 评分4040 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度提升实测
Hugging Face 用 Optimum Habana 在 Habana Gaudi2 上跑 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调，结果显示 Gaudi2 训练与推理速度约为 Nvidia A100 80GB 的两倍。
Hugging Face BlogAI 评分3838 从 GPT2 到 Stable Diffusion：Hugging Face 模型进入 Elixir 生态
Elixir 社区推出 Bumblebee 库，用纯 Elixir 实现了 Hugging Face Transformers，让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face BlogAI 评分2222 Hugging Face 推理方案概览：Inference Widget、Inference API、Inference Endpoints 与 Spaces
Hugging Face 梳理了其推理方案：模型页上的免费 Inference Widget 可一键上传样本预测，底层由免费 Inference API 驱动，凭模型 URL 和 hub token 即可用 HTTP 请求调用，但因限流不建议用于生产。
Hugging Face BlogAI 评分2828 用同态加密在加密数据上做情感分析：Concrete-ML 实战教程
Hugging Face 发布教程，演示如何借助 Concrete-ML 库在全同态加密（FHE）环境下构建情感分析模型，数据科学家无需密码学背景即可上手。方案用 BERT 提取文本隐藏表示（hidden size 768），再交给 XGBoost 分类，并通过客户端/服务器协议部署到云端，最后在 Hugging Face Spaces 提供完整演示。
Hugging Face BlogAI 评分3030 Hugging Face 更新定价：Inference API 付费层下线，推出 Inference Endpoints
Hugging Face 宣布下线 Inference API 的付费层，该服务仍对所有人免费开放，同时推出企业级推理服务 Inference Endpoints，并为 Spaces 提供硬件升级。这些服务无需订阅，只需在账单设置中绑定信用卡即可使用，所有付费服务按月计费并提供合并发票。
Hugging Face BlogAI 评分3838 Hugging Face 在 Optimum Intel 中集成 OpenVINO，加速 Transformer 模型推理
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel，用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型执行推理，模型可托管于 Hugging Face hub 或本地。
Hugging Face BlogAI 评分3434 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
Hugging Face 发布教程，演示如何通过三个递进抽象层级实现多 GPU 分布式训练：原生 PyTorch DDP、🤗 Accelerate 轻量封装以及 🤗 Transformer 的 Trainer API。Accelerate 可在零代码改动下支持单 GPU 和 TPU 运行，Trainer 则抽象掉所有样板代码并支持多种设备和分布式场景。
Hugging Face BlogAI 评分3838 Hugging Face Inference Endpoints 上手指南
Hugging Face 推出 Inference Endpoints，可将 Hub 上的模型一键部署到云端托管基础设施。文中以 Swin 图像分类模型为例，演示了在 AWS eu-west-1 单 GPU 实例上部署，并介绍 Public、Protected、Private 三种访问级别，其中 Private 通过 AWS PrivateLink 的 VPC Endpoint 访问。
Hugging Face Blog精选AI 评分6262 Hugging Face Diffusers 0.5.1 起支持 Flax，在 TPU 上用 JAX 运行 Stable Diffusion
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，可在 Colab、Kaggle 或 Google Cloud 的 TPU 上运行 Stable Diffusion 推理。
推荐理由：Hugging Face 官方给出在 TPU 上用 JAX/Flax 并行跑 Stable Diffusion 的完整步骤与实测耗时，可迁移到多设备推理。
Hugging Face Blog精选AI 评分6262 Hugging Face 复盘 BLOOM 推理优化：延迟降低 5 倍、吞吐提升 50 倍
Hugging Face 团队复盘了为 BLOOM 构建推理服务器的优化过程，在数周内实现延迟降低 5 倍、吞吐提升 50 倍。
推荐理由：Hugging Face 团队复盘 BLOOM 推理优化全过程，从 PP 到 TP、自定义 kernel 的取舍细节可供工程实践参考。
Hugging Face Blog精选AI 评分6262 Accelerate 如何借助 PyTorch 运行超大模型
Hugging Face 介绍 Accelerate 如何借助 PyTorch 的 meta device、自动 device map 和分片 checkpoint，在显存与内存不足的消费级硬件上加载并运行超大语言模型。
推荐理由：原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的完整流程，可迁移到本地部署实践。
Hugging Face Blog精选AI 评分6060 用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Hugging Face 发布教程，展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 模型做推理，并给出在 8x80GB A100 上的实测数据。
推荐理由：文章给出 BLOOM 176B 在多种并行与量化方案下的实测吞吐和显存占用，可作为大模型推理部署的选型参考。
Hugging Face BlogAI 评分3030 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型并接入 Transformers。Megatron-LM 通过高效 DataLoader、Fused CUDA Kernels 和 Apex 的 Fused AdamW 优化器提升训练速度，但上手难度高于 Accelerate 和 Trainer。
Hugging Face BlogAI 评分2222 如何在 Hugging Face Spaces 上用 3Dmol.js 可视化蛋白质
Hugging Face 博客介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 Hugging Face Spaces 中可视化蛋白质结构，应用可接受 4 位 PDB 代码或上传 PDB 文件，并从 RCSB 蛋白数据库获取结构。
Hugging Face BlogAI 评分2222 在 Vertex AI 上部署 🤗 ViT 模型
Hugging Face 展示了如何将 🤗 Transformers 中的 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台，用比 Kubernetes 方案更少的代码实现同等扩展能力。
Hugging Face BlogAI 评分2222 Hugging Face Optimum Graphcore 深度解析：在 IPU 上微调 Vision Transformer
Hugging Face 与 Graphcore 联合发布 Optimum Graphcore 库，支持在 IPU 上微调 ViT 等 Transformer 模型。
Hugging Face Blog精选AI 评分6767 Hugging Face 详解 LLM.int8() 8-bit 矩阵乘法与 transformers 集成
Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 与 accelerate，可在不损失性能的前提下把大模型显存占用降到约四分之一。
推荐理由：Hugging Face 官方详解 LLM.int8() 量化原理与 transformers 集成细节，并给出实测数据与代码示例。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Skops：将 scikit-learn 模型托管到 Hub
Hugging Face 发布新库 Skops，支持将 scikit-learn 模型托管到 Hugging Face Hub，并可为模型创建 model card 进行文档化与协作。