Hugging Face 与 Cloudflare Workers AI 集成，为开发者提供无服务器 GPU 推理
Hugging Face Hub 上线 Deploy on Cloudflare Workers AI 集成，让开发者以无服务器 API 方式调用 Llama、Gemma、Mistral 等热门开源模型，按请求付费、无需管理 GPU 基础设施。
#部署/工程
#部署/工程
今日 7 条Hugging Face BlogAI 评分4747
Hugging Face BlogAI 评分3838 Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型的统一接口，首个版本聚焦 3D 物体检测，输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，讲解这一开源 Python 库如何调用数千个预训练模型，并区分了 Hub 与 Spaces 的用途。教程以在 Space 中运行微软 Phi-2 LLM 为例，需租用 NVIDIA A10G GPU（每小时几美元），通过 Docker 模板部署 JupyterLab notebook 完成实操。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解嵌入二值与标量量化：检索更快更省
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中，二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘，而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由：Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测，可据此评估检索成本与性能的取舍。
OpenAI NewsAI 评分2222 JetBrains 借助 OpenAI API 打造其增长最快的产品
JetBrains 使用 OpenAI 的 API 打造了其史上增长最快的产品。
Hugging Face BlogAI 评分4040 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 集成 OpenVINO，将微软 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在一台搭载 Core Ultra 7 155H 的中端笔记本上实现本地推理。
OpenAI NewsAI 评分2222 OpenAI 企业级信任与安全能力获 Salesforce 集成
Salesforce 集成 OpenAI 的企业级大语言模型，用于改造其客户应用。此次集成强调企业就绪的信任与安全能力。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Train on DGX Cloud：用 NVIDIA H100 GPU 轻松训练模型
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可一键调用 NVIDIA H100 Tensor Core GPU 微调 Llama、Mistral、Stable Diffusion 等模型。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活，量化模型可部署在 CUDA、MPS 等任意设备上。
Hugging Face BlogAI 评分3434 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 博客展示了如何借助 Optimum Intel 与 fastRAG，在基于 Xeon 的 CPU 上加速 BGE 嵌入模型并接入现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 和自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端的预处理与后处理。
Mistral AI精选AI 评分8282 Mistral 发布旗舰模型 Mistral Large 与 Mistral Small，并上线 Azure
Mistral 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 同时发布旗舰模型与低延迟小模型，并首次通过 Azure 分发，读者可据此判断其产品线分层与商业路径。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能与 Mistral 7B 相当。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。
Hugging Face BlogAI 评分1717 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，设生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face BlogAI 评分4242 Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face BlogAI 评分2727 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与投机解码
Hugging Face 联合 Intel 在第四代 Xeon 上通过 8bit/4bit 量化与辅助生成，让 StarCoder-15B 推理加速超过 7 倍。其中 Q8-StarCoder 在 HumanEval 上精度无损，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍；4bit 权重量化进一步压缩模型体积，相关 demo 已上线 Hugging Face Spaces。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI 生态
Hugging Face 宣布与 Google Cloud 建立战略合作，围绕开放科学、开源、云与硬件展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
Hugging Face BlogAI 评分3838 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤，适合想低成本分享工作流的读者。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家（SMoE）模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：Mistral 放出 Apache 2.0 的稀疏 MoE 权重，并给出与 Llama 2 70B、GPT3.5 的对比，便于判断开源模型的成本性能取舍。
Mistral AI精选AI 评分7878 Mistral AI 开放 La Plateforme 平台测试，提供三个对话端点与嵌入端点
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问，提供三个对话端点和嵌入端点，各有不同性能价格取舍。
推荐理由：Mistral AI 开放首个平台服务测试，给出三个对话端点和嵌入端点的性能价格取舍，可据此判断其早期 API 能力边界。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，系统讲解 MoE 的构成、训练与推理权衡。
推荐理由：系统梳理 MoE 的构成、训练与推理权衡，并给出并行与部署的实践取舍，适合理解稀疏模型工程细节。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在生态内的完整接入路径，读者可据此判断 MoE 模型的部署与微调成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
推荐理由：Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据，读者可据此判断多 LoRA 共享部署的可行性与代价。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据，读者可据此判断现有 LLaMA 推理流程的改造成本。
Hugging Face BlogAI 评分5757 Hugging Face 与 AMD 实现 AMD GPU 开箱即用的大模型加速
Hugging Face 与 AMD 公布合作进展，Transformers 模型无需改动代码即可在 AMD Instinct GPU 上运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
Hugging Face BlogAI 评分3838 用 AWS Inferentia2 让 Llama 2 生成速度起飞
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成。用户可将 meta-llama/Llama-2-7b-hf 编译导出为 Neuron 格式，并按预算、延迟、吞吐三种配置部署 7B 与 13B 模型，最大序列长度 2048。
Hugging Face BlogAI 评分2626 Hugging Face Hub 推出存储区域功能
Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions，可指定组织模型和数据集的存储位置，目前支持 US 和 EU，亚太区即将上线。该功能用于满足监管与法律合规（如 GDPR）需求，并提升性能：欧洲用户将仓库存于 EU 区域时，上传和下载速度约为存于 US 的 4-5 倍。非默认位置的仓库会直接显示 Region 标签。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 推理的简单优化方法
Hugging Face 在 A100（40GB）上测试了 SDXL 的多种推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：原文给出 SDXL 在 A100 上的逐项优化实测数据，读者可据此按显存与延迟取舍推理配置。
Hugging Face BlogAI 评分3636 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints，并支持大规模批量请求。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方博客给出 Gradio-Lite 的完整用法与限制，读者可据此判断无服务器部署 Gradio 应用的可行边界。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 BERT、GPT2、T5、Whisper、Stable-Diffusion 等 90 多种模型架构。以 whisper-tiny 为例，使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分4040 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 SDXL 推理。该方案基于 JAX jit 编译与 XLA pmap 并行，在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像，纯生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半，实例提供 1、4、8 至 256 芯片多种规格。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，演示如何 fork 并配置 AI Comic Factory，通过 Inference API 部署到自己的私有 Space，以避免长时间排队。
Hugging Face Blog精选AI 评分6060 非工程师指南：用 AutoTrain 和 ChatUI 训练 LLaMA 2 聊天机器人
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码，把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由：Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程，可迁移到其他开源模型。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可，读者可据此判断小参数模型的性价比与部署方式。
Hugging Face BlogAI 评分2525 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种模型规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例上测试 1、5、10、20 并发请求，并对比 GPTQ 4-bit 量化效果。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference 服务，开放 Llama 3、Mixtral 等模型 API
Hugging Face 为 PRO 用户推出 Inference 服务，提供精选模型的专属 API 端点，由 text-generation-inference 驱动，并提升免费 Inference API 的速率限制。
Hugging Face BlogAI 评分2020 Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 将每月超 1 亿笔交易的商户识别从正则表达式系统迁移到基于 BERT 家族模型的文本分类方案，该模型覆盖 4000+ 类别。经过三个月评估，团队选择 Hugging Face Inference API 托管模型，一周内即承接部分流量，并逐步将关键路径流量迁移至其托管服务。