Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 将每月超 1 亿笔交易的商户识别从正则表达式系统迁移到基于 BERT 家族模型的文本分类方案，该模型覆盖 4000+ 类别。经过三个月评估，团队选择 Hugging Face Inference API 托管模型，一周内即承接部分流量，并逐步将关键路径流量迁移至其托管服务。
#Hugging Face
#Hugging Face
今日 4 条Hugging Face BlogAI 评分2020
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解析
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名。文章详解了 IoU、Average Precision（AP）与 Average Recall（AR）等指标的计算方式及其变体，并指出不同评测报告间结果可能存在差异的陷阱。开发者可据此在榜单中挑选适合自身应用的开源模型。
Hugging Face Blog精选AI 评分6262 3D Gaussian Splatting 入门：原理、训练流程与图形学前景
Hugging Face 博客发布 3D Gaussian Splatting 入门解读，介绍这一来自论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的栅格化技术如何从少量图像实时渲染逼真场景。
推荐理由：文章拆解了 3D Gaussian Splatting 的完整流程与显存、磁盘等实际限制，便于判断它离生产渲染管线还有多远。
Hugging Face BlogAI 评分4848 如何在生产环境中优化 LLM：Hugging Face 详解低精度、Flash Attention 与架构改进
Hugging Face 发布博客，梳理生产环境部署 LLM 的三类优化技术：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分6262 Würstchen 发布：面向图像生成的快速扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件部分在高度压缩的潜空间中工作，实现 42x 空间压缩，推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断文生图模型的成本与显存门槛变化。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并给出在 2 节点 16 张 A100 80GB 上的完整配置。
推荐理由：原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法，可迁移到同类大模型训练。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 原生支持的量化方案概览
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据、支持任意含 torch.nn.Linear 的模型及多模态模型，后者文本生成更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集，量化 175B 规模模型约需 4 GPU 小时。
Hugging Face BlogAI 评分3636 SafeCoder 与闭源代码助手对比：Hugging Face 企业级代码助手解析
Hugging Face 发布企业级代码助手 SafeCoder，基于 155 亿参数的 StarCoder 开源模型，支持 80 多种编程语言和 8192 token 上下文窗口。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 SDXL 带来 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 可控生成接入 diffusers，并给出与 ControlNet 的参数量对比。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face
TII 发布 Falcon 180B 并上线 Hugging Face Hub，提供 base 与 chat 两个版本。该模型有 1800 亿参数，在 3.5 万亿 token 的 RefinedWeb 数据上训练，使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由：原文给出 Falcon 180B 的参数量、训练数据与评测对比，读者可据此判断开源大模型的规模与商用限制。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
Fetch 通过将机器学习流水线迁移到 Amazon SageMaker，并结合 Hugging Face AWS Deep Learning Container 与 SageMaker Hugging Face Inference Toolkit，把最慢扫描的延迟降低了 50%，文档理解模型准确率提升 200%。
Hugging Face Blog精选AI 评分6060 AudioLDM 2 推理加速：用 Diffusers 把生成时间从 14 秒降到 1 秒
Hugging Face 博客介绍如何在 Diffusers 库中加速 AudioLDM 2 的文本到音频推理，通过半精度、flash attention、torch.compile 和更换调度器等方法，把 10 秒音频的生成时间从约 14 秒降到 1 秒以内，音质下降很小。
推荐理由：原文给出四种开箱即用的推理优化手段，读者可据此把 AudioLDM 2 的生成耗时从 14 秒压到 1 秒以内。
Hugging Face Blog精选AI 评分8282 Code Llama 发布：Llama 2 的代码专用版本接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 训练、专注代码任务的开放模型家族，提供 7B、13B、34B 三种参数规模，并采用与 Llama 2 相同的宽松社区许可、可商用。
推荐理由：梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径，便于判断能否直接用于代码补全。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益，可据此判断本地部署大模型的成本变化。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，基于 DeepMind 未公开的 Flamingo，仅使用公开数据和模型（LLaMA v1 与 OpenCLIP）构建，提供 9B 和 80B 两个参数规模，各有基础版和指令微调版。
推荐理由：Hugging Face 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
Hugging Face BlogAI 评分5555 Hugging Face 发布企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一款面向企业的自托管代码助手商业解决方案，代码在训练和推理阶段都不离开客户 VPC。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 AWS Marketplace，可用 AWS 账户付费
Hugging Face Hub 已上线 AWS Marketplace，用户可通过 AWS 账户直接支付 Hugging Face 使用费用。订阅后，Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服务的组织用量费用将自动计入 AWS 账单，价格与 Hugging Face 公开定价一致。
Hugging Face BlogAI 评分2222 使用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的 TTS 模型 Bark。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：实战 DeepFloyd IF
Hugging Face 发布博客演示如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结文本编码器和三个级联像素扩散模块组成，Stage 1 生成 64x64 px 基础图像，经 Stage 2、Stage 3 逐步放大至 1024x1024 px，并集成 T5-XXL-1.1 编码提示词。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者能在 Mac 和 iOS 设备上用 Core ML 运行 Llama 2、Falcon 等大语言模型。
推荐理由：Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链，读者可据此判断端侧大模型的落地路径。
Hugging Face Blog精选AI 评分6666 用 DPO 微调 Llama 2：TRL 库训练教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 Llama v2 7B 上基于 stack-exchange 偏好数据微调的完整流程。
推荐理由：TRL 官方给出 DPO 在 Llama 2 上的完整训练流程与代码，读者可据此在自己的偏好数据上复现。
Hugging Face BlogAI 评分2222 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，16 GB RAM 实例即可运行，支持文本提示生成音乐。
Hugging Face BlogAI 评分3535 Zama 用 FHE 加密大语言模型：GPT2 单注意力头密文推理保持 96% 精度
Zama 基于 Hugging Face transformers 库，用全同态加密（FHE）改造 GPT2，让部分推理在加密数据上运行，兼顾用户隐私与模型 IP。实验显示，权重与激活值采用 4-bit 量化时，加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式，客户端本地推理至首层后加密中间结果交由服务器计算。
Hugging Face BlogAI 评分2626 Huggy Lingo：用机器学习改进 Hugging Face Hub 数据集的语言元数据
Hugging Face 用机器学习为 Hub 上缺少语言元数据的数据集自动检测语言，并借助 librarian-bots 提交 PR 补充元数据。目前 Hub 约 5 万个公开数据集中仅约 13% 标注了语言，约 87% 未标注。
Hugging Face Blog精选AI 评分6262 Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，图像保真度接近基础模型。
推荐理由：Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重，读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
Hugging Face BlogAI 评分3636 如何用 Shap-E 与 Dream Textures 生成 PS1 风格 3D 资产：分步指南
一份分步教程演示如何用 OpenAI 开源扩散模型 Shap-E 从文本生成 3D 模型，再经 Blender 的 Decimate 修改器减面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开，最终导出 FBX 导入 Unity。流程选择 PS1 低多边形风格，以规避当前 text-to-3D 模型保真度不足的问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 用混合位宽调色板量化在 Mac 上运行 Stable Diffusion XL
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由：原文给出混合位宽调色板量化的完整方法与脚本，读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Agents.js：用 JavaScript 为 LLM 提供工具调用能力
Hugging Face 在 huggingface.js 下发布 Agents.js，一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库，通过 npm install @huggingface/agents 安装。
推荐理由：Hugging Face 官方开源 Agents.js，给出从安装到自定义工具与模型的完整用法，可据此判断如何为 LLM 接入工具。
Hugging Face BlogAI 评分2222 Hugging Face 联合 Creative Commons、Eleuther AI、GitHub 等就 EU AI Act 提出开源 ML 五项建议
Hugging Face 与 Creative Commons、Eleuther AI、GitHub、LAION、Open Future 联合发布立场文件，就 EU AI Act 提出五项建议。
Hugging Face BlogAI 评分2020 Hugging Face 首届开源 AI Game Jam 结果揭晓：Snip It 夺冠
Hugging Face 公布首届开源 AI Game Jam 结果，活动吸引超 1300 人报名、收到 88 款游戏，冠军由 ohmlet 的 Snip It 获得，该游戏用 Stable Diffusion 生成素材。
Hugging Face BlogAI 评分2222 Hugging Face Diffusers 一周年：从文生图到视频、3D 的扩散模型工具箱
Hugging Face 的 Diffusers 库迎来一周年，已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 同步上线全套集成
Meta 发布开源大语言模型系列 Llama 2，包含 7B、13B、70B 的预训练与微调版本，采用宽松社区许可并允许商用。相比 Llama 1，预训练 token 增加 40%，上下文长度扩展到 4k tokens，70B 模型使用 grouped-query attention。
推荐理由：Meta 发布可商用的 Llama 2 系列，Hugging Face 同步给出推理、部署与微调入口，便于判断开源模型的可落地程度。
Hugging Face BlogAI 评分4242 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 梳理其 Hub 上的开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分3838 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播流
Hugging Face 发布实验性 demo AI WebTV，用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动合成视频与配乐并直播。视频由 zeroscope_v2_576 生成 576x320 片段，可选用 zeroscope_v2_XL 放大至 1024x576，再经 FILM 插帧与 MusicGen 配乐，通过 FFmpeg 推流至 RTMP 服务器。
Hugging Face BlogAI 评分3838 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel 第四代 Xeon（Sapphire Rapids）CPU 集群上微调 Stable Diffusion 的完整流程，利用 AMX 加速器与 Intel Extension for PyTorch，仅需 5 张示例图片即可通过 textual inversion 完成训练。
Hugging Face Blog精选AI 评分6060 用 Transformers.js 打造 ML 驱动的网页游戏
Hugging Face 博客介绍如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash，模型完全在浏览器本地运行，每秒可做 60 次以上预测。
推荐理由：完整复现了从微调 MobileViT 到用 Transformers.js 在浏览器实时推理的流程，可迁移到其他端侧 ML 项目。
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM
Hugging Face 发布教程，演示如何通过其托管 SaaS 服务 Inference Endpoints 部署开源 LLM，以 Falcon 40B instruct 为例，选用 1x Nvidia A100 实例，约 10 分钟即可上线。
Hugging Face BlogAI 评分3636 用开源 ML 模型打造 Web 应用生成器：WizardCoder-15B 实战教程
Hugging Face 发布教程，演示如何用 Node.js 结合 WizardCoder-15B 与 Inference Endpoints API 构建流式生成 HTML 的 Web 应用生成器。模型通过 textGenerationStream 边生成边渲染页面，并借助 TailwindCSS 工具类实时生成样式，同时给出提示词调优与防幻觉的实践建议。
Hugging Face BlogAI 评分1212 Writer 如何借助 Hugging Face 从用户成长为开源模型贡献者
Writer 联合创始人兼 CTO Waseem Alshikh 与 Hugging Face 的 Jeff Boudier 对谈，讲述 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Hugging Face BlogAI 评分3434 在 Habana Gaudi2 上加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调视觉语言模型 BridgeTower，相比 A100 提速 2.5 倍、相比 H100 提速 1.4 倍。该性能提升依赖硬件加速的数据加载，通过 dataloader_num_workers 参数分配专用子进程即可启用，适用于各类受数据加载制约的视觉模型工作负载。