Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印与生成后添加水印两种方式，并盘点 Hub 上的相关工具。文章还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案，并讨论开放与闭源水印的利弊。
#开源生态
#开源生态
今日 6 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分4242 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行参数高效微调（PEFT）。
Hugging Face BlogAI 评分3838 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维度嵌入
Hugging Face 发布 Matryoshka 嵌入模型入门博客，介绍这类模型能产出多种维度的可用嵌入，将重要信息前置到靠前的维度，截断后仍能保持性能。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能与 Mistral 7B 相当。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。
Hugging Face BlogAI 评分2828 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩语大模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，为韩语大模型提供公开评测平台，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并使用不公开的私有测试集防止数据污染。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练定制模型：成本、延迟与碳排放对比
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face BlogAI 评分1717 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，设生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face Blog精选AI 评分6262 SegMind 发布 SegMoE：从零构建混合专家扩散模型框架
SegMind 发布 SegMoE 框架，可从零创建混合专家（MoE）扩散模型，并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型（Apache 2.0 许可）以及配套 GitHub 仓库，用户通过 config.yaml 即可组合任意数量的模型，几分钟内完成构建。
推荐理由：原文给出从零构建扩散模型 MoE 的完整流程与显存代价，读者可据此判断本地部署门槛。
Hugging Face BlogAI 评分4242 Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI（CAI）的端到端配方，并开源了 llm-swarm 工具，用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI 生态
Hugging Face 宣布与 Google Cloud 建立战略合作，围绕开放科学、开源、云与硬件展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：Mixtral 表现超过 GPT-3.5
Hugging Face 在 LangChain 中集成 ChatHuggingFace，让开源模型可直接构建 ReAct 智能体，并发布智能体库 smolagents。
推荐理由：给出 ReAct 智能体的完整实现路径与开源模型对比数据，可据此判断哪些模型适合驱动智能体工作流。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。
Hugging Face Blog精选AI 评分7272 Unsloth 与 TRL 集成：LLM 微调提速 2 倍、显存降低 40%
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 transformers、PEFT、TRL 完全兼容，可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 集成的实测加速与显存数据，读者可据此判断微调成本能降到什么程度。
Hugging Face BlogAI 评分5757 Hugging Face 发布 aMUSEd：高效非扩散文生图模型
Hugging Face 发布 aMUSEd，这是对 Google MUSE 的开源复现，采用 Masked Image Model（MIM）方法而非常见的潜在扩散路线，以研究预览版和宽松许可证发布。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本，把 Pivotal Tuning 与 Prodigy 优化器结合，并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由：汇总 SDXL Dreambooth LoRA 微调的社区最佳实践，并给出可直接运行的 diffusers 训练脚本与参数配置。
Hugging Face BlogAI 评分3636 2023：开源大语言模型之年
Hugging Face 回顾 2023 年开源 LLM 进展，指出公众对开源与闭源模型的讨论已触及广泛受众。2022 年的开源模型仍延续规模竞赛，如 176B 参数的 BLOOM、175B 参数的 OPT 和 GLM-130B，而 2023 年转向对数据的重视。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家（SMoE）模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：Mistral 放出 Apache 2.0 的稀疏 MoE 权重，并给出与 Llama 2 70B、GPT3.5 的对比，便于判断开源模型的成本性能取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，系统讲解 MoE 的构成、训练与推理权衡。
推荐理由：系统梳理 MoE 的构成、训练与推理权衡，并给出并行与部署的实践取舍，适合理解稀疏模型工程细节。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在生态内的完整接入路径，读者可据此判断 MoE 模型的部署与微调成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
推荐理由：Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据，读者可据此判断多 LoRA 共享部署的可行性与代价。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据，读者可据此判断现有 LLaMA 推理流程的改造成本。
Hugging Face BlogAI 评分5757 Hugging Face 与 AMD 实现 AMD GPU 开箱即用的大模型加速
Hugging Face 与 AMD 公布合作进展，Transformers 模型无需改动代码即可在 AMD Instinct GPU 上运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
Hugging Face BlogAI 评分3838 Open LLM Leaderboard 的 DROP 基准深度排查
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准进行深度排查，发现绝大多数模型 f1-score 低于 10 分。原因包括归一化步骤在数字后跟非空格空白字符时失效，以及用「.」作为停止词会截断浮点答案、让高质量模型因生成过长而得分更低。改用「\n」作为停止词后，分数与整体表现的相关性明显改善。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 LCM LoRA，SDXL 4 步即可出图
Hugging Face 发布 Latent Consistency LoRA（LCM LoRA），通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步完成出图。
推荐理由：LCM LoRA 把 SDXL 推理从 25 步压到 4 步，并给出各硬件实测速度，可据此判断生成工作流的改动空间。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类对比：基于 LoRA 的微调评测
Hugging Face 博客用 LoRA 微调 RoBERTa-large（355M）、Llama-2-7b 和 Mistral-7B-v0.1 三个模型，在灾难推文二分类任务上做对比评测。实验统一设置 MAX_LEN=512，在单张 A6000（48GB）上训练，并用 Weights & Biases 做超参调优与实验记录。
Hugging Face BlogAI 评分3838 用 AWS Inferentia2 让 Llama 2 生成速度起飞
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成。用户可将 meta-llama/Llama-2-7b-hf 编译导出为 Neuron 格式，并按预算、延迟、吞吐三种配置部署 7B 与 13B 模型，最大序列长度 2048。
Hugging Face Blog精选AI 评分6262 Personal Copilot：用 Hugging Face 代码微调自己的编程助手
Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码，微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder（15.5B），训练 12.5 小时、成本约 13.75 美元，而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，以及本地部署路径，可迁移到自有代码库。
Hugging Face Blog精选AI 评分6262 RLHF with PPO 的 N 个实现细节：复现 OpenAI 原始代码库
Hugging Face 博客发布对 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences 的复现工作，在情感和描述性任务上匹配了原代码库的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方博客给出 Gradio-Lite 的完整用法与限制，读者可据此判断无服务器部署 Gradio 应用的可行边界。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 BERT、GPT2、T5、Whisper、Stable-Diffusion 等 90 多种模型架构。以 whisper-tiny 为例，使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转换成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的 Jinja 模板，读者可据此理解格式错配为何会静默拖垮模型表现。
Hugging Face BlogAI 评分1515 Hugging Face 发布 Ethics and Society Newsletter #5：Hugging Face 走进华盛顿与 2023 夏季思考
Hugging Face 发布 Ethics and Society Newsletter #5，回顾其今夏向 E.U.、U.K.、U.S. 立法者提供 AI 价值观与监管建议，包括 CEO Clem 在美国国会作证及 U.S. Senate AI Insight Forum 发言。
Hugging Face Blog精选AI 评分6060 非工程师指南：用 AutoTrain 和 ChatUI 训练 LLaMA 2 聊天机器人
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码，把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由：Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程，可迁移到其他开源模型。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可，读者可据此判断小参数模型的性价比与部署方式。
Mistral AI精选AI 评分7878 Mistral AI 发布首个开源模型 Mistral 7B
Mistral AI 发布首个 7B 参数模型 Mistral 7B，采用 Apache 2.0 许可，称其在所有标准英文和代码基准上超过现有 13B 参数以内的开源模型。
推荐理由：Mistral AI 官方阐述开源模型路线，并给出首个 7B 模型在基准上超越更大开源模型的对比。
Hugging Face BlogAI 评分2525 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种模型规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例上测试 1、5、10、20 并发请求，并对比 GPTQ 4-bit 量化效果。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference 服务，开放 Llama 3、Mixtral 等模型 API
Hugging Face 为 PRO 用户推出 Inference 服务，提供精选模型的专属 API 端点，由 text-generation-inference 驱动，并提升免费 Inference API 的速率限制。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解析
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名。文章详解了 IoU、Average Precision（AP）与 Average Recall（AR）等指标的计算方式及其变体，并指出不同评测报告间结果可能存在差异的陷阱。开发者可据此在榜单中挑选适合自身应用的开源模型。
Hugging Face Blog精选AI 评分6262 3D Gaussian Splatting 入门：原理、训练流程与图形学前景
Hugging Face 博客发布 3D Gaussian Splatting 入门解读，介绍这一来自论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的栅格化技术如何从少量图像实时渲染逼真场景。
推荐理由：文章拆解了 3D Gaussian Splatting 的完整流程与显存、磁盘等实际限制，便于判断它离生产渲染管线还有多远。