Hugging Face Spaces 推出 Dev Mode，可一键连接 VS Code 或 SSH
Hugging Face Spaces 上线 Dev Mode，支持一键从 VS Code 或 SSH 直连 Space 编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅面向 PRO 订阅用户开放，可在 Space 设置中启用。编辑后直接在 Space 内点击 Refresh 即可测试，满意后再 commit 和 merge 保存改动。
#部署/工程
#部署/工程
今日 9 条Hugging Face BlogAI 评分3131 Hugging Face BlogAI 评分3838 Hugging Face 与 Dell 推出 Dell Enterprise Hub，支持本地训练和部署开源模型
Hugging Face 与 Dell 联合推出 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将原本数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分5757 Hugging Face 在 Transformers 中推出 KV Cache 量化功能
Hugging Face 在 Transformers 中新增 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，int4 精度下质量接近 fp16。
Hugging Face BlogAI 评分4242 Hugging Face 与 LangChain 联合推出 langchain-huggingface 合作包
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，这是一个由双方共同维护的 Python 包，可通过 pip install langchain-huggingface 安装。
Hugging Face BlogAI 评分2222 Hugging Face 支持用 AWS 账户订阅 Enterprise Hub
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub，用户可在 AWS Marketplace 完成订阅并关联 Hugging Face 组织账户。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 部署企业级 RAG 应用的方案，LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
OpenAI NewsAI 评分3838 OpenAI 与 Stack Overflow 达成 API 合作
Stack Overflow 与 OpenAI 宣布达成 API 合作，将这一技术知识平台与 OpenAI 的大语言模型结合，为开发者提供支持。Stack Overflow 称其拥有全球领先的高技术内容知识平台，OpenAI 则拥有最受欢迎的 AI 开发 LLM 模型。
Hugging Face BlogAI 评分3737 Artificial Analysis LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 将其覆盖 100 多个无服务器 LLM API 端点的 LLM Performance Leaderboard 上线 Hugging Face，综合对比模型的质量、上下文窗口、价格、吞吐与延迟。
Hugging Face BlogAI 评分5050 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 通过自定义 inference handler 在 Inference Endpoints 上部署 Whisper，实现 ASR、说话人分离与推测解码的组合流水线。
OpenAI NewsAI 评分4040 OpenAI 为 API 客户推出更多企业级功能
OpenAI 为 API 客户新增更多安全功能与控制项，并更新 Assistants API，同时提供更便于管理成本的工具。
Hugging Face Blog精选AI 评分8787 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，上下文长度 8K tokens，并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式，读者可据此了解新模型规格与上手路径。
Hugging Face BlogAI 评分2222 用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的前提下拉取源码最新改动。
Hugging Face BlogAI 评分1818 Ryght 借助 Hugging Face Expert Support 打造医疗生命科学生成式 AI 平台
Ryght 正式公开发布面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview，并向生命科学知识工作者免费开放。
Hugging Face BlogAI 评分3434 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队将基于全同态加密（FHE）的 Concrete ML 预编译模型部署到 Hugging Face Endpoints，用户可通过自定义 inference handler 一键部署，全程无需解密数据。以 concrete-ml-encrypted-decisiontree 为例，691 个样本上准确率约 0.896，单次推理约 4.12 秒，目前仅支持 CPU。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 合作，将数千个开源 LLM 引入 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud，可将数千个开源模型一键部署到 Google Cloud 的 Vertex AI 或 GKE，作为自有账号内的 API Endpoint。
Hugging Face BlogAI 评分2222 在 Intel Xeon 上用 🤗 Optimum Intel 实现 SetFit 极速推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化，可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，从而实现生产级部署。
Hugging Face BlogAI 评分4747 Hugging Face 与 Cloudflare Workers AI 集成，为开发者提供无服务器 GPU 推理
Hugging Face Hub 上线 Deploy on Cloudflare Workers AI 集成，让开发者以无服务器 API 方式调用 Llama、Gemma、Mistral 等热门开源模型，按请求付费、无需管理 GPU 基础设施。
Hugging Face BlogAI 评分3838 Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型的统一接口，首个版本聚焦 3D 物体检测，输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，讲解这一开源 Python 库如何调用数千个预训练模型，并区分了 Hub 与 Spaces 的用途。教程以在 Space 中运行微软 Phi-2 LLM 为例，需租用 NVIDIA A10G GPU（每小时几美元），通过 Docker 模板部署 JupyterLab notebook 完成实操。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解嵌入二值与标量量化：检索更快更省
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中，二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘，而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由：Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测，可据此评估检索成本与性能的取舍。
OpenAI NewsAI 评分2222 JetBrains 借助 OpenAI API 打造其增长最快的产品
JetBrains 使用 OpenAI 的 API 打造了其史上增长最快的产品。
Hugging Face BlogAI 评分4040 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 集成 OpenVINO，将微软 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在一台搭载 Core Ultra 7 155H 的中端笔记本上实现本地推理。
OpenAI NewsAI 评分2222 OpenAI 企业级信任与安全能力获 Salesforce 集成
Salesforce 集成 OpenAI 的企业级大语言模型，用于改造其客户应用。此次集成强调企业就绪的信任与安全能力。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Train on DGX Cloud：用 NVIDIA H100 GPU 轻松训练模型
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可一键调用 NVIDIA H100 Tensor Core GPU 微调 Llama、Mistral、Stable Diffusion 等模型。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活，量化模型可部署在 CUDA、MPS 等任意设备上。
Hugging Face BlogAI 评分3434 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 博客展示了如何借助 Optimum Intel 与 fastRAG，在基于 Xeon 的 CPU 上加速 BGE 嵌入模型并接入现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 和自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端的预处理与后处理。
Mistral AI精选AI 评分8282 Mistral 发布旗舰模型 Mistral Large 与 Mistral Small，并上线 Azure
Mistral 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 同时发布旗舰模型与低延迟小模型，并首次通过 Azure 分发，读者可据此判断其产品线分层与商业路径。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能与 Mistral 7B 相当。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。
Hugging Face BlogAI 评分1717 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，设生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face BlogAI 评分4242 Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face BlogAI 评分2727 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与投机解码
Hugging Face 联合 Intel 在第四代 Xeon 上通过 8bit/4bit 量化与辅助生成，让 StarCoder-15B 推理加速超过 7 倍。其中 Q8-StarCoder 在 HumanEval 上精度无损，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍；4bit 权重量化进一步压缩模型体积，相关 demo 已上线 Hugging Face Spaces。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI 生态
Hugging Face 宣布与 Google Cloud 建立战略合作，围绕开放科学、开源、云与硬件展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
Hugging Face BlogAI 评分3838 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤，适合想低成本分享工作流的读者。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家（SMoE）模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：Mistral 放出 Apache 2.0 的稀疏 MoE 权重，并给出与 Llama 2 70B、GPT3.5 的对比，便于判断开源模型的成本性能取舍。
Mistral AI精选AI 评分7878 Mistral AI 开放 La Plateforme 平台测试，提供三个对话端点与嵌入端点
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问，提供三个对话端点和嵌入端点，各有不同性能价格取舍。
推荐理由：Mistral AI 开放首个平台服务测试，给出三个对话端点和嵌入端点的性能价格取舍，可据此判断其早期 API 能力边界。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，系统讲解 MoE 的构成、训练与推理权衡。
推荐理由：系统梳理 MoE 的构成、训练与推理权衡，并给出并行与部署的实践取舍，适合理解稀疏模型工程细节。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在生态内的完整接入路径，读者可据此判断 MoE 模型的部署与微调成本。